Tracking People Through Occlusions Using a Head Detection Method

Transcrição

1 Tracking People Through Occlusions Using a Head Detection Method Wagner Machado do Amaral, Clésio Luis Tozzi Departamento de Engenharia de Computação e Automação Industrial (DCA) Faculdade de Engenharia Elétrica e de Computação (FEEC) Universidade Estadual de Campinas (Unicamp) Campinas, SP, Brasil {machado, clesio}@dca.fee.unicamp.br Abstract Tracking people is the process of determining their paths by computing their displacement in each video frame. This paper discusses aspects of tracking, furthermore adapts and combines existing literature techniques to implement a video based people tracking system which deals with occlusions using a head detection method. Keywords People Tracking; Head Detection. I. INTRODUÇÃO O barateamento das câmeras de vídeo e o aumento do poder de processamento dos computadores têm motivado o uso de câmeras para o monitoramento e rastreamento de pessoas. O rastreamento por vídeo é o processo de determinar as trajetórias computando o deslocamento das pessoas em uma sequência de imagens (Yilmaz [18]), e as dificuldades inerentes a esse processo estão relacionadas a fatores como: Ruídos na imagem. Variações de iluminação. Presença de objetos em movimento repetitivo irrelevantes no contexto do rastreamento de pessoas (ex.: galhos de árvores deslocando-se pela força do vento). Oclusões de pessoas seguidas por objetos dispostos no ambiente. Oclusões entre pessoas presentes no vídeo. Necessidade de processamento em tempo real. Fatores como variações de iluminação, ruídos na imagem e a presença de objetos em movimento no fundo da cena são usualmente tratados durante as etapas iniciais do sistema de rastreamento, pois afetam a detecção das pessoas seguidas. Oclusões e desaparecimentos são fatores relacionados à movimentação e ao posicionamento das pessoas em relação à câmera, uma vez que as pessoas podem entrar e sair do ângulo de visão da câmera, ou serem oclusas por objetos ou por outras pessoas presentes na cena. Quando uma pessoa é oclusa por um objeto disposto na cena, ela não é detectada na imagem, pois ela não é visível do ponto de vista da câmera. Logo, o rastreamento dessa pessoa não pode ser continuado, exceto que ela deixe o estado de oclusão e seja detectada novamente. Todavia, quando duas pessoas se tocam ou se ocluem, as regiões correspondentes a essas pessoas são conectadas. Nessas ocasiões, sistemas básicos de rastreamento associam as pessoas oclusas à posição central da região detectada, ocasionando a junção das trajetórias. Por outro lado, sistema mais complexos propõem maneiras para tratar as oclusões e identificar individualmente as posições das pessoas envolvidas na oclusão. Apesar dos avanços na área de rastreamento por vídeo, identificar os fatores que influenciam o rastreamento e propor técnicas capazes de tratar tais fatores em tempo real ainda são desafios no campo da visão computacional e demandam estudos aprofundados. A. Objetivos Os objetivos do presente trabalho são abordar aspectos do rastreamento por vídeo e adaptar e combinar técnicas existentes na literatura para implementar um sistema de rastreamento de pessoas e tratamento de oclusões por detecção de. B. Estrutura do Sistema de Rastreamento A estrutura do sistema de rastreamento implementado no presente trabalho é exibida na Figura 1. O sistema é dividido em duas etapas principais: Detecção do Foreground e Determinação das trajetórias. Na primeira etapa, constituída por subtração de fundo, remoção de sombras e operações morfológicas, as regiões correspondentes às pessoas a serem seguidas são detectadas. Na segunda etapa, métricas de associação são utilizadas para associar as pessoas seguidas às pessoas detectadas na imagem. O método de detecção de é utilizado durante a associação para determinar a posição de pessoas envolvidas em oclusões. O sistema de classificação de estados é utilizado para gerenciar o rastreamento de múltiplas pessoas na cena.

2 Mirabi e Javadi [11] realizam a associação através de uma adaptação do algoritmo SMP - Stable Marriage Problem (D Elia et al. [7]), onde uma matriz de custos de associação é criada e o algoritmo SMP é aplicado para encontrar a associação mais estável. Durante oclusões, as regiões correspondentes às pessoas oclusas são separadas com base nas previsões para as bounding boxes das mesmas. D. Organização do trabalho O restante do presente trabalho é organizado conforme a seguir: a seção II lista as técnicas utilizadas durante a etapa de detecção do foreground; a seção III descreve o método de detecção de, que é utilizado durante oclusões entre pessoas; a seção IV apresenta a métrica de associação; a seção V apresenta o método de classificação de estados, que é utilizado para gerenciar o rastreamento de múltiplas pessoas; a seção VI apresenta os resultados obtidos; a seção VII apresenta as conclusões do presente trabalho. Fig. 1. Diagrama do sistema proposto C. Trabalhos relacionados Há um significativo número de sistemas de rastreamento desenvolvidos na literatura. Estes sistemas usualmente detectam as pessoas ou objetos seguidos utilizando técnicas de subtração de fundo, como as técnicas propostas por Wren et al. [17] e Stauffer e Grimson [14]. Alguns sistemas utilizam ainda técnicas de remoção de sombras, como os sistemas pospostos por Lu e Tan [10], Zhao e Nevatia [19] e Lei e Xu [9]. Processamento morfológico também é utilizado para remoção de ruídos, como nos sistemas desenvolvidos por Haritaoglu et al. [8] e Azari et al. [1]. Durante a associação das pessoas seguidas, o sistema de rastreamento W4 (Haritaoglu et al. [8]) utiliza métricas relacionadas à posição do centroide, bounding box e silhueta. Oclusões são tratadas utilizando um método de detecção de. Lu e Tan [10] realizam a associação a partir da posição do centroide das regiões detectadas e as oclusões são tratadas utilizando o histograma de cor das pessoas. No sistema proposto por Lei e Xu [9], a associação é feita por métricas relacionadas à posição do centroide, área e cor e por um modelo em forma de elipse. Um sistema de classificação de estado é utilizado para tratar eventos como surgimento, desaparecimento, reaparecimento e oclusão de objetos. Azari et al. [1] realizam a associação com base na comparação entre bounding boxes e através do método Global Nearest Neighbor (Blackman e Popoli [2]). Durante oclusões, o método de coeficiente de correlação (Rodgers e Nicewander, [13]) é utilizado para comparar o modelo das pessoas oclusas à região detectada, e determinar a posição das pessoas envolvidas na oclusão. II. DETECÇÃO DO FOREGROUND Conforme é exibido na Figura 1, a detecção do foreground é dividida em três etapas. Inicialmente o fundo é subtraído através do método proposto por Haritaoglu et al. [8]. Em seguida, as sombras são removidas conforme a abordagem de Cucchiara et al. [6], para evitar que regiões correspondentes a pessoas distintas sejam conectadas através de suas sombras. Finalmente, operadores morfológicos são utilizados para eliminar ruídos. A partir das regiões (blobs) detectadas no final dessa etapa, o rastreamento é realizado. A Figura 2 exibe o resultado dessas técnicas aplicadas a um quadro de um vídeo. (a) Quadro (c) Remoção de Sombras (b) Subtração de Fundo (d) Morfologia Matemática Fig. 2. Resultado da detecção do foreground para um quadro de um vídeo, dividido em três etapas subsequentes: subtração de fundo (b), remoção de sombras (c) e morfologia matemática (d). Vídeo extraído da base CANDELA [3] III. DETECÇÃO DE CABEÇAS Durante oclusões, um método de detecção de é utilizado para estimar as posições das pessoas envolvidas na oclusão. O método utilizado, baseado em Win Kong et al. [16]

3 e Haritaoglu et al. [8], considera que um pixel corresponde à posição de uma cabeça se duas condições forem satisfeitas: 1) Se o pixel corresponder a um pico na extremidade superior do blob. 2) Se existirem suficientes pixels abaixo da cabeça, correspondentes ao corpo da pessoa. Conforme é demonstrado na Figura 3, o processo de detecção de é iniciado pela detecção do centroide do blob. Em seguida, as bordas do blob são detectadas através de um algoritmo de traçado de contorno (Cheriet et al. [5]). A partir das distâncias entre os pixels da borda e do centroide, o gráfico exibido na Figura 3 (d) é determinado e suavizado utilizando a média móvel simples. Os pontos do gráfico onde ocorre variação no sinal da derivada são identificados na imagem. Esses pontos, que correspondem às proeminências e concavidades mais significativas do blob, são comparados a seus dois vizinhos. Os pontos posicionados abaixo de um de seus vizinhos são eliminados. Finalmente, para cada pixel h candidato a representar uma cabeça, calcula-se a altura a h, definida como a distância entre h e o último pixel contido no blob e abaixo do ponto h. Todos os pixels que não satisfazem a inequação (1) são desconsiderados. m a h <d m (1) sendo m a maior altura calculada, e d (d=[0,1]) um fator de proporcionalidade a partir do qual é realizado um threshold. A inequação (1) reforça a restrição de que uma cabeça deve estar acima de um torso. a região prevista para a posição da pessoa contiver o centroide de um blob, o blob é associado à pessoa. Entretanto, se dois ou mais centroides estiverem contidos na região prevista para a pessoa p, a pessoa é associada ao centroide k que maximiza o final valor da métrica M, definida na equação (2). p,k final D H M =ωm +( 1 ω) M p,k p,k p,k sendo ω um parâmetro de ponderação ω= [0,1 ]. D O valor de M está relacionado à distância, conforme é p,k descrito na equação (3). (2) D D D p,m p,k M = (3) p,k D p,m onde D p,m é a maior distância para todos os centroides contidos na região prevista. H O valor de M é determinado a partir da intersecção p,k entre os histogramas da pessoa H p e do blob H k, conforme a equação (4). N min (H i=1 p(i),h k (i)) M H p,k = min(h p,h k ) (4) (a) Quadro (b) Centroide (c) Bordas (d) Distância entre centroide e borda (g) Análise de vizinhança (e) Variações no sinal da derivada (h) Verificação de altura (f) Proeminências e concavidades (i) Cabeças detectadas Fig. 3. Método de detecção de. Vídeo extraído da base CAVIAR [4] IV. ASSOCIAÇÃO Para associar uma pessoa seguida a um blob detectado, a posição estimada através do filtro de Kalman para a pessoa é comparada às posições dos centroides dos blobs detectados. Se onde N é o número de faixas do histograma após a discretização das cores, e h n corresponde a somatória dos valores do histograma n. Se duas ou mais pessoas forem associadas ao mesmo blob, considera-se que houve uma oclusão entre pessoas, e o método de detecção de descrito na seção 3 é aplicado para determinar as posições das pessoas envolvidas na oclusão. V. CLASSIFICAÇÃO DE ESTADOS O método de classificação de estado proposto por Lei e Xu [9] é adaptado e utilizado no presente trabalho para gerenciar o rastreamento de múltiplas pessoas. As classes utilizadas são descritas abaixo, e o fluxo de transição entre as classes é exibido na Figura 4. Classe Iniciante Todo blob detectado na imagem é inicialmente associado à classe Iniciante. O blob transita para a classe Madura se satisfizer duas métricas de confiabilidade: tempo mínimo de permanência no vídeo e fator de movimento regular. O fator de movimento expressa a aleatoriedade do movimento, e é descrito na equação (5).

4 =( 2 2 σ σ cx cy ) 1 ζ + m σ +τ σ +τ vx vy 2 2 onde σ e σcy são a variância do centroide na direção x e y, cx 2 2 respectivamente, σ e σvy são a variância da velocidade na vx direção x e y, respectivamente, e τ é uma constante que evita divergência quando a variação da posição e velocidade do centroide são iguais a zero. O fator de movimento é considerado regular se ζ >T, onde T é um threshold. m ζ ζ Classe Madura Os blobs associados à classe Madura são considerados pessoas na cena e têm a trajetória determinada conforme é descrito na seção 4. Classe Indisponível Quando uma pessoa seguida não é associada a nenhum blob, ela transita para a classe Indisponível, e sua trajetória é atualizada a partir da previsão do filtro de Kalman. Se, em quadros posteriores, essa pessoa for associada a um blob, ela retorna à classe Madura. Classe Desaparecida Pessoas que permanecem associadas à classe Indisponível por um período de tempo superior a um limite predefinido transitam para a classe Desaparecida e têm o rastreamento cessado. Se, em quadros posteriores, essa pessoa for detectada novamente na imagem, ela é identificada através de seu histograma de cor e retorna à classe Madura. Classe Fora de Cena Pessoas que permanecem associadas à classe Desaparecida por um período de tempo superior a um limite predefinido transitam para a classe Fora de Cena e têm o rastreamento cessado permanentemente. (5) VI. RESULTADOS O sistema foi implementado utilizando a linguagem Octave e testado em quatro vídeos das bases PETS [12], CAVIAR [4] e ViSOR [15]. Para demonstrar a contribuição do uso do método de detecção de, são apresentados os resultados obtidos com o uso do método de detecção de (CC) e sem o uso do método (SC). A análise qualitativa é realizada através da comparação visual das trajetórias determinadas. A análise quantitativa é realizada através da contagem de positivos verdadeiros (PV), negativos verdadeiros (NV), falsos positivos (FP) e falsos negativos (FN). Sendo: PV Detecções corretas. NV Blobs corretamente ignorados. FP Detecções indevidas. FN Detecções não realizadas. A partir dos valores quantitativos, as taxas de sensibilidade TS, falso negativo TFN e falso positivo TFP, definidas nas equações (6), (7) e (8), respectivamente, são determinadas para avaliar a qualidade do resultado. TS=PV / ( PV+FN ) (6) TFN=FN / ( PV+FN ) (7) TFP=FP/( FP+NV ) (8) A Figura 5 exibe um quadro de cada vídeo utilizado para avaliar o resultado do rastreamento. (a) Vídeo 1, ViSOR [15] (b) Vídeo 2, PETS [12] Fig. 4. Fluxo de transição entre classes (c) Vídeo 3, CAVIAR [4] (d) Vídeo 4, ViSOR [15] Fig. 5. Vídeos utilizados para avaliar o sistema implementado

5 A Figura 6 exibe a avaliação qualitativa das trajetórias determinadas com e sem o uso do método de detecção de durante uma oclusão ocorrida no vídeo 1. Nessa situação, duas pessoas caminhando em direções opostas se encontram no centro da imagem. Como pode ser observado em (a), sem o uso do método de detecção de, a mesma posição do centroide do blob foi atribuída às pessoas, ocasionando a junção das trajetórias. Como pode ser observado em (b), através do uso do método de detecção de, uma posição mais precisa foi atribuída às pessoas durante a oclusão. (a) Trajetórias sem detecção de (b) Trajetórias com detecção de Fig. 6. Vídeo 1 Trajetórias determinadas sem detecção de (a) e com detecção de (b). Vídeo extraído da base ViSOR [15] A Figura 7 exibe a avaliação qualitativa das trajetórias determinadas com e sem o uso do método de detecção de durante uma oclusão ocorrida no vídeo 2. Nessa situação, uma pessoa carregando uma mala caminha em direção a outra pessoa que está parada no centro da imagem, até o momento em que seus respectivos blobs são conectados. Como pode ser observado em (a), sem o uso do método de detecção de, a mesma posição do centroide do blob foi atribuída às pessoas. Conforme é exibido em (b), o resultado obtido com o uso do método de detecção de foi mais preciso, pois as posições das pessoas foram determinadas individualmente. (a) Trajetórias sem detecção de (b) Trajetórias com detecção de Fig. 8. Vídeo 3 Trajetórias determinadas sem detecção de (a) e com detecção de (b). Vídeo extraído da base CAVIAR [4] A Tabela 1 exibe os resultados quantitativos para os vídeos testados com e sem o uso do método de detecção de. Os dados dessa tabela mostram que, com o uso do método de detecção de, houve um aumento na quantidade de positivos verdadeiros para todos os vídeos testados, enquanto que a quantidade de falsos positivos e falsos negativos diminuiu. Os valores exibidos na Tabela 1 influenciam diretamente os valores das taxas de avaliação, exibidos na Tabela 2. Para todos os vídeos testados, houve uma melhora nas taxas, representada pelo aumento da sensibilidade e diminuição das taxas de falso positivo e negativo. TABELA 1. RESULTADOS QUANTITATIVOS OBTIDOS COM E SEM DETECÇÃO DE CABEÇAS PARA OS 4 VÍDEOS AVALIADOS PV NV FP FN Vídeo 1 SC CC Vídeo 2 SC CC Vídeo 3 SC CC Vídeo 4 SC CC (a) Trajetórias sem detecção de (b) Trajetórias com detecção de Fig. 7. Vídeo 2 Trajetórias determinadas sem detecção de (a) e com detecção de (b). Vídeo extraído da base PETS [12] A Figura 8 exibe a avaliação qualitativa das trajetórias determinadas durante uma oclusão ocorrida no vídeo 3. Nesse vídeo, duas pessoas se ocluem na entrada de uma loja. As trajetórias determinadas sem e com o uso do método de detecção de são exibidas em (a) e (b), respectivamente. A análise qualitativa do vídeo 4 é omitida devido ao fato de as pessoas transitarem sucessivas vezes pela mesma posição, prejudicando a visualização das trajetórias. TABELA 2. TAXAS DE AVALIAÇÃO CALCULADAS A PARTIR DOS RESULTADOS QUANTITATIVOS OBTIDOS COM E SEM DETECÇÃO DE CABEÇAS PARA OS 4 VÍDEOS AVALIADOS TS TFN TFP SC CC SC CC SC CC Vídeo 1 0,74 0,87 0,25 0, Vídeo 2 0,45 0,93 0,55 0,07 0,64 0,33 Vídeo 3 0,90 0,99 0,091 0, Vídeo 4 0,91 0,98 0,09 0,02 0 0

6 VII. CONCLUSÃO No presente trabalho foram abordados aspectos do rastreamento de pessoas por vídeo e foi implementado um sistema de rastreamento constituído pela combinação de técnicas existentes na literatura. Os resultados obtidos demonstraram a contribuição do uso de um método de detecção de para tratar oclusões entre pessoas. Continuações do presente trabalho podem avaliar a utilização de outras técnicas de segmentação para tratar oclusões, incluir métodos de classificação para distinguir pessoas de objetos e animais ou ainda utilizar informações provenientes de duas câmeras para reconstruir a informação tridimensional dos alvos seguidos e tratar oclusões em um ambiente de visão estéreo. REFERÊNCIAS [1] Azari, M., Seyfi, A., Rezaie, A.H., "Real Time Multiple Object Tracking and Occlusion Reasoning Using Adaptive Kalman Filters," 7th Iranian Machine Vision and Image Processing (MVIP), pp.1-5, Nov [2] Blackman, S. e Popoli, R., "Design and Analysis of Modern Tracking Systems", Norwood, MA: Artech House, 1999 [3] CANDELA Website. dela/ [4] CAVIAR Website. [5] Cheriet, M.; Kharma, N.; Cheng-Lin Liu;, Character Recognition Systems: A Guide for Students and Practitioners, Wiley Publications, 2007 [6] Cucchiara, R., Grana, C., Piccardi, M., Prati, A., Sirotti, S., Improving shadow suppression in moving object detection with HSV color Information. Proceedings of IEEE Conference on Intelligent Transportation Systems. Oakland, USA, 2001: , 2001 [7] D Elia, E.; Tavian, C. e Zugno, A., "Simulation and Multi-Target Tracking". University of Padua. Report presented 15 Feb [8] Haritaoglu, I.; Harwood, D.; Davis, L.S.;, "W 4 : realtime surveillance of people and their activities," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, no.8, pp , Aug 2000 [9] Lei, B. e Xu, L.-Q., Real-time outdoor video surveillance with robust foreground extraction and object tracking via multi-state transition management. Pattern Recognition Letters, 27(15): Vision for Crime Detection and Prevention [10] Lu, W. e Tan, Y. P., A color histogram based people tracking system. IEEE International Symposium on Circuits and Systems. Vol. 2, pp , 2001 [11] Mirabi, M. e Javadi, S., "People Tracking in Outdoor Environment Using Kalman Filter", Third International Conference on Intelligent Systems, Modelling and Simulation, pp , 2012 [12] PETS: Performance evaluation of tracking and surveillance ( ) Website. [13] Rodgers, J. L. e Nicewander, W. A., Thirteen ways to look at the correlation coefficient, American Statistician 42: [14] Stauffer, C. e Grimson, W.E.L., Adaptive background mixture models for real-time tracking. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 2, pp. 252, 1999 [15] ViSOR: Video Surveillance Online Repository Website. [16] Win Kong; Hussain, A.; Saad, M.H.M.; Tahir, N.M., "Hand detection from silhouette for video surveillance application" IEEE 8th International Colloquium on Signal Processing and its Applications (CSPA), pp , Mar 2012 [17] Wren, C.R., Azarbayejani, A., Darrell, T. e Pentland, A.P., Pfinder: real-time tracking of the human body. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No. 7., pp Jul 1997 [18] Yilmaz, A., Javed, O., SHAH, M., Object Tracking: A survey. ACM Comput. Surv. 38. p. 45. Article [19] Zhao, T.; Nevatia, R.;, "Tracking multiple humans in complex situations", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.26, no.9, pp , Sept. 2004