Identification and Tracking of People Using Digital Images Captured from Video Cameras

Transcrição

1 Identification and Tracking of People Using Digital Images Captured from Video Cameras Lucas do Vale Manuel, Francisco Assis da Silva, Danillo Roberto Pereira Universidade do Oeste Paulista Unoeste/FIPP Presidente Prudente/SP, Brasil {chico, Almir Olivette Artero, Marco Antonio Piteri, Universidade Estadual Paulista Unesp/FCT Presidente Prudente/SP, Brasil {almir, Abstract The use of computational vision plays an important role for security purposes, nowadays it is largely used and, day by day, is earning new resources due to the technological progress. The majority of current security systems are based in a monitoring where the analysis is made by the user's interpretation. To improve this process, it has been proposed models of analysis and recognition of personal characteristics, like height, skin tone, facial recognition, among others, in order to provide the search for recognitions more efficient. In this work, there are used different algorithms like HOG and SVM for identification and tracking of people, color spaces RGB, HSV and YCrCb, that are combined and used for the identification and extraction of characteristics like the type and color of clothes of each person for monitoring along the video. Keywords HOG; SVM; tracking people; color space; skin detection I. INTRODUÇÃO O rastreamento de pessoas em locais públicos é uma tarefa complexa e apresenta muitos desafios para a área da visão computacional, como: invariância quanto a mudanças de iluminação do ambiente; tolerância às diferenças de velocidades das pessoas; forma adequada para tratar a oclusão entre pessoas; capacidade de identificar mudanças bruscas na trajetória e, por fim, a necessidade de distinguir pessoas, mesmo quando observada uma grande semelhança entre elas. Aplicações para o rastreamento de jogadores de futebol, por exemplo, enfrentam problemas com a iluminação artificial e fatores climáticos em estádios sem cobertura [11]. Nos sistemas de monitoramentos convencionais, feito por pessoas, a tarefa de observar um monitor por horas representa uma tarefa repetitiva e cansativa, que torna difícil manter a atenção, exclusiva, por muito tempo e, geralmente, resulta em uma grande quantidade de erros [6]. Entretanto, na maioria das vezes, o monitoramento ainda é realizado por seres humanos, isso ainda ocorre pelo fato de não existir um monitoramento eletrônico totalmente eficiente. Apesar das dificuldades encontradas para a identificação e rastreamento de pessoas, segundo Amaral e Tozzi [1], o aumento do poder de processamento dos computadores têm motivado o uso de câmeras de monitoramento para tarefas de identificação e rastreamento de pessoas. Entretanto, como a tarefa é bastante complexa, não se espera que uma única técnica seja capaz de resolver o problema por completo. De fato, a maior esperança está na combinação de várias técnicas, de modo a se obter uma configuração mais robusta. Assim, este trabalho propõe, uma combinação de várias técnicas de processamento digital de imagens e visão computacional, para compor um sistema de identificação e rastreamento de pessoas, que auxilie a área de segurança. A metodologia proposta busca resolver o problema de identificar uma pessoa em um ambiente público, rastrear essa pessoa em sua trajetória, e, para que isso possa ser realizado, acrescenta ao processo o uso de características de roupas e de pele dessa pessoa. As demais seções deste trabalho estão organizadas da seguinte maneira: a Seção II apresenta alguns trabalhos relacionados ao tema abordado; a Seção III apresenta os conceitos para a construção do HOG (Histogram of Oriented Gradient); a Seção IV apresenta a metodologia utilizada para a realização deste trabalho; a Seção V exibe os experimentos realizados e os resultados obtidos com a pesquisa; na Seção VI são apresentadas as conclusões finais, assim, como algumas propostas de trabalhos futuros. II. TRABALHOS RELACIONADOS No trabalho de Suliman et al. [10] foi desenvolvido um sistema de rastreamento de pessoas em vídeos de segurança, com o intuito de prover uma identificação precisa de pessoas em imagens, que apresenta um bom desempenho nos processos de identificação e rastreamento. No desenvolvimento do trabalho foi utilizado o método do fluxo óptico Horn e Schunk [4] para a identificação de movimentos nas imagens, além do filtro de Kalman [5], para detectar e rastrear as pessoas presentes nos frames. Nos experimentos, os autores utilizaram um vídeo com resolução de 240 x 320 pixels e concluíram que não era possível se obter os dois resultados esperados ao mesmo tempo (uma boa identificação com um bom desempenho), pois uma boa identificação torna-se custosa computacionalmente e, o bom desempenho acarreta em uma identificação comprometida. Dalal e Triggs [3] definiram, através de experimentos, a combinação de SVM (Support Vector Machine) com o algoritmo HOG (Histogram of Oriented Gradient) para a identificação e rastreamento de pessoas. O SVM por ser um algoritmo de aprendizagem supervisionada, foi utilizado para o treinamento na identificação de uma pessoa e, combinando com o HOG, também permitiu o rastreamento. Nos 316

2 experimentos foram utilizados os bancos de imagens MIT e INRIA, totalizando mais de imagens para treino e testes. O trabalho de Sousa [8] propõe um sistema para dispositivos móveis da plataforma Android, que processa localmente as imagens, para identificar faixas de pedestres e pessoas, de modo a prover auxílio na locomoção segura de deficientes visuais pelas ruas da cidade. Foi utilizado o espaço de cor YUV para um melhor funcionamento em ambientes noturnos. Nesta proposta, a imagem é convertida em escalas de cinza para encontrar as faixas de pedestres e, em seguida, são identificadas as pessoas que passam nessas faixas. No desenvolvimento do sistema, o autor também utilizou o algoritmo HOG, juntamente com o algoritmo SVM. Nos experimentos, foram utilizadas imagens com resoluções de 480 x 640 e 240 x 320 e, dos 64 cenários avaliados, foram identificados 55 deles. Truzzi et al. [11] apresenta uma solução para a detecção e rastreamento de pessoas, caminhando ou correndo, que utiliza vídeos capturados por câmeras com posicionamento fixo. O principal objetivo desta proposta é prover a identificação e o rastreamento de pessoas, independente da distância e da velocidade de deslocamento. Para isto, os autores utilizaram a subtração de fundo para identificar as pessoas presentes nas imagens e o filtro de Kalman para o rastreamento. Amaral e Tozzi [1] propõem um modelo para detectar e rastrear pessoas ao longo de um vídeo. A idéia se baseia no tratamento das oclusões das pessoas, através de separações das cabeças, sendo utilizada a subtração do fundo para localizar as pessoas presentes nas imagens, um algoritmo de identificação de cabeças para corrigir os problemas de oclusão e o filtro de Kalman para o rastreamento. III. HISTOGRAM ORIENTED GRADIENTS (HOG) O uso de histogramas de gradientes orientados (HOG) tem sido comum na detecção e extração de características de uma imagem, podendo ser combinado com outros algoritmos para a classificação destas características obtidas, sendo comum o uso do SVM. As etapas para a obtenção do HOG são: Normalização Gama, Cálculo do Gradiente da imagem, Construção do Histograma, Normalização dos Blocos e o Detector de Janelas. A. Normalização Gama Esta etapa é responsável pelo aumento do contraste das imagens em tons de cinza, no espaço de cor RGB ou no espaço de cor LAB. Com este ajuste inicial das imagens, espera-se obter um pequeno ganho de desempenho. B. Cálculo do Gradiente da imagem Nessa fase é realizado o cálculo do gradiente de cada pixel. Dalal e Triggs [3] mostraram que o gradiente pode ser calculado através das derivadas de cada pixel (Eq. 1), na vertical D y, subtraindo o valor do pixel inferior i,j+1 do valor do pixel superior i,j 1 e, na horizontal D x, subtraindo o valor do pixel a esquerda i 1,j do valor do pixel a direita i+1,j. Com esses dois valores torna-se possível encontrar a magnitude do pixel (Eq. 2) e a sua orientação (Eq. 3). i, j 1 i 1, j i 1, j i, j 1 Derivada do pixel D x = i 1, j i + 1, j D y = i, j + 1 i, j 1 (1) f = D x 2 + D y 2 (2) θ = tan 1 ( D y D x ) (3) O cálculo do gradiente é realizado em toda a imagem, porém, ela pode ser dividida em células com dimensão de 8 x 8 pixels, de modo que cada célula precisa de um vetor para armazenar os 64 pares de valores correspondentes ao cálculo do gradiente (magnitude e direção). C. Construção do Histograma É construído um histograma para cada célula, a partir do vetor resultado de 64 posições. Para cada par de valores do vetor é calculado o ângulo de orientação do gradiente do pixel usando a Eq. 3. Os ângulos dos pixels são distribuídos nos bins do histograma (Fig. 1) [3]. HOG Fig. 1. Exemplo de Histograma com as orientações. Um histograma é representado por nove barras (bins), e pertence a um faixa de 0 a 180 graus (o intervalo entre cada barra é de 20 graus). Para a atribuição de valores em cada barra é considerado o valor do ângulo calculado para cada pixel. Esse valor é dividido proporcionalmente à faixa de valor em que seu ângulo se enquadra. D. Normalização dos Blocos Os blocos são uma parcela da imagem compostas por quatro células cada, os blocos servem para mapear a imagem e através deles normalizar e varrer toda a imagem a procura de pessoas a serem identificadas. Na Fig. 2 é mostrado como é representado um bloco. 317

3 Carrega Treinamento Início Abre Vídeo Exibe frame Fim Fig. 2. Exemplo de um bloco em escalas de cinza. Dalal e Triggs [3] utilizaram em seus experimentos diferentes alternativas para normalização dos blocos a fim de comparar o desempenho de cada uma delas. As alternativas utilizadas consistem na L1-norm (Eq. 4), L1-sqrt (Eq. 5) e L2- norm (Eq. 6). f = f = f = v ( v 1 + e) v ( v 1 + e) v (4) (5) v e 2 (6) A normalização dos blocos é feita de forma a sobrepor 50% de outro bloco, sendo que cada bloco tem a sua normalização calculada separadamente. E. Detector de Janelas Criado todos os blocos, deverá ser construída a janela de detecção HOG. A janela HOG tem o tamanho de 64 por 128 pixels e, é gerada a partir da junção de todos os blocos (2x2 células), células (8x8 pixels) e histogramas (9 bins por histograma) [3]. O detector de janela possibilita a varredura da imagem em um determinado sentido. O deslocamento segue da esquerda para a direita e da parte superior para parte inferior da imagem, buscando encontrar todas as pessoas possíveis nela. No trabalho de Dalal e Triggs [3] foi proposto um modelo para a construção do HOG contendo as seguintes fases: Normalização Gama, Cálculo do Gradiente da imagem, Construção do Histograma, Normalização dos Blocos, Detector de Janelas e Classificação SVM. Segundo Sousa [8], o método HOG é muito usado para o reconhecimento de pedestres e obtenção de suas características. O autor também afirma que o algoritmo SIFT e outros algoritmos podem ser utilizados para extrair as características da imagem, porém, o algoritmo HOG se difere dos demais, porque leva em consideração a imagem como um todo, enquanto que os demais algoritmos utilizam como base, pontos específicos para a extração de características. IV. METODOLOGIA PROPOSTA A metodologia proposta neste trabalho é apresentada na Fig. 3. S S Aplica detecção de Pessoas Terminou o Vídeo? Obtém frame e N Carrega características Apenas uma vez Selecionou alguém? N Seleciona retângulos próximos a região selecionada Desenha retângulo no frame Atualiza posição da região Associa características ao retângulo Identifica pessoa por características Fig. 3. Metodologia proposta para a identificação, reconhecimento e rastreamento de pessoas. A Fig. 3 descreve, passo a passo, o funcionamento dos processos de identificação e rastreamento das pessoas nos quadros do vídeo. Inicialmente, é carregado o arquivo de treinamento disponível com a biblioteca de Visão Computacional OpenCV. O arquivo de treinamento é composto por um conjunto de elementos. As posições iniciais são utilizadas em conjunto com posições presentes na janela de detecção, e o último valor é utilizado para classificação da imagem juntamente com o hit_threshold = 2 (valor utilizado no limite de verificação definido como padrão no OpenCV) utilizado para estipular um intervalo válido de classificação. As posições presentes na janela de detecção são equivalentes aos bins de uma imagem de 68 x 128 pixels. Em uma imagem com essa dimensão tem-se 7 blocos na horizontal e 15 blocos na vertical, totalizando 105 blocos. Como cada bloco contêm 4 células, tem-se 420 células, e cada célula contêm 9 bins, totalizando as posições presentes na janela de detecção. A classificação é feita após o vídeo ser carregado, sendo inicialmente realizada a somatória dos bins da janela com o vetor de treinamento e, caso o valor resultante esteja no intervalo determinado, a imagem é classificada como positiva, ou seja, possui uma pessoa nela. Um exemplo de como é feita a classificação é apresentado na Fig

4 construção dos histogramas, normalização dos blocos, detector de janelas e por fim, sua classificação utilizando o SVM. Todos esses passos estão descritos na Seção III. Com a identificação das pessoas na imagem, obtêm-se as posições dos retângulos que pertencem às pessoas e, em seguida, é realizada a seleção dos retângulos próximos à região selecionada, minimizando o trabalho de verificar todos os retângulos presentes no frame. Essa seleção é feita a partir da variável de controle da posição selecionada e, a partir dela, verifica-se a existência de retângulos próximos a essa área (Fig. 6). Fig. 4. Exemplo da somatória do arquivo de treinamento com a janela de detecção. Em seguida, deve ser verificado se o valor da somatória permanece no intervalo para casos positivos, através da seguinte condição: -6, hit_threshold > Somatória AND -6, hit_threshold < Somatória Com o arquivo de treinamento carregado, o sistema desenvolvido para identificação e rastreamento de pessoas inicia sua execução, até que o vídeo termine. A cada ciclo, obtém-se um novo frame do vídeo para ser tratado, porém para melhorar o desempenho, deve ser utilizado, para a análise, apenas um a cada cinco frames. A cada frame analisado é verificado se ocorre a seleção de algum local da imagem, o que pode ser feito através de variáveis de controle. A Fig. 5 mostra a execução do sistema com a detecção de duas pessoas. Fig. 6. Exemplo de seleção de retângulos. Após a seleção dos retângulos desejados, cada um deles terá sua extração e verificação feita separadamente. Para o processo de extração e verificação das características, é necessária uma preparação das imagens, para poderem ser utilizadas. O primeiro passo para essa preparação é a identificação da pele humana, que é feita utilizando o método proposto por See et al. [7]. Este método realiza uma varredura em cada pixel da imagem e, para uma melhor robustez, verifica nos três espaços de cores, RGB, HSV e YCbCr os intervalos válidos que representam a pele humana. O pixel que é aprovado pela verificação de todos os filtros é mantido na imagem e, os pixels não aprovados tem sua cor trocada para preto. Para verificação do intervalo nos três espaços de cores são utilizadas as seguintes condições: HSV H > 230 or H < 25 YCrCb Cr <= x Cb + 20 AND Cr >= x Cb AND Cr >= x Cb AND Cr <= x Cb AND Cr <= x Cb Fig. 5. Frame do vídeo com duas pessoas detectadas. Ao selecionar uma das pessoas presentes na Fig. 5, são registradas as seguintes características pertencentes à pessoa: tipo da roupa superior (manga curta ou manga longa), cor da roupa superior, tipo da roupa inferior (calça ou bermuda) e cor da roupa inferior. No processo seguinte a imagem precisa passar por diversos passos na tentativa de identificar pessoas presentes nela. Para a identificação de pessoas é utilizada a normalização gama, cálculo do gradiente da imagem, RGB ((R > 95) AND (G > 40) AND (B > 20) AND (max{r,g,b} min{r,g,b} > 15) AND ( R G > 15) AND (R > G) AND (R > B)) OR ((R > 220) AND (G > 210) AND (B > 170) AND ( R - G <= 15) AND (R > B) AND (G > B)) No final da varredura da imagem, apenas os pixels que representem a cor da pele permanecem na imagem, enquanto que os demais são pintados de preto, como mostra a Fig

5 imagens binárias). Ao aplicar o algoritmo Border Following, obtêm-se os conjuntos de vértices de cada região detectada. Cada conjunto contém as posições dos vértices das bordas necessárias para representar os membros da pessoa detectada: cabeça, braços e pernas (Fig. 10). Fig. 7. Exemplo do resultado de identificação de pele humana utilizando os espaços de cores RGB, HSV e YCbCr. Com a imagem contendo apenas regiões com pixels próximos à tonalidade da pele humana, inicia-se uma varredura em busca dos pixels que pertencem ao intervalo desejado (pixels das regiões de pele) para trocá-los pela cor branca. Em seguida é utilizado o algoritmo de Canny [2] para detecção de contornos da imagem. Os pixels que não representam a borda são eliminados (Fig. 8). É feita novamente uma varredura na imagem, pixel-a-pixel, verificando se eles representam o limite da borda e, eliminando os pixels indesejados. Fig. 8. Exemplo de varredura na imagem, em que são mantidos apenas a linha dada por B, representando o limite da borda. Por fim, são verificados os pixels restantes para classificálos como bordas e não bordas, através dos limites de thresholding máximo e mínimo. Finalizando assim os passos de preparação da imagem. Os resultados são ilustrados na Fig. 9. Fig. 10. Resultado indicando cinco conjuntos diferentes de vértices. A partir das posições de cada conjunto de vértices, calculase a dimensão da área que a borda abrange. Estes conjuntos são utilizados para se verificar a qual região eles pertencem: parte inferior ou superior da imagem. Para indicar qual tipo de roupa que a pessoa está usando, faz-se necessário saber a área de cada conjunto. O cálculo da área dos conjuntos das bordas é feito através do teorema de Green [9], que utiliza a seguinte equação para o cálculo desta área: A = xdy = ydx C C = 1 2 (xdy ydx) (10) C Calculada a área da imagem, é possível estimar qual é o tipo de roupa utilizada pela pessoa. Dependendo do tamanho, a peça de roupa será classificada como curta ou longa, calça ou short. A próxima característica extraída é a cor das roupas, o que é feito usando o modelo de cores HSV. Nesta etapa são extraídos dois pixels da imagem em posições fixas, um dos pixels representa a cor da peça superior da pessoa e o outro a peça inferior. Os valores do canal H (Hue) dos dois pixels são armazenados em um vetor de características. Exemplo desse processo é mostrado na Fig. 11. (a) (b) (c) Fig. 9. Exemplo do resultado dos métodos (a) detecção de pele, (b) região de pele substituída pela cor branca e (c) aplicação do algoritmo Canny. Em seguida é possível extrair a característica de tipo de roupa, que é realizada, inicialmente, utilizando o algoritmo Border Following (algoritmo para extração de bordas em Fig. 11. Exemplo extração de cores das peças de roupas. As características das regiões de interesse (tipos e cores da roupa superior e inferior) são utilizadas para rastrear a pessoa selecionada na Fig. 6. O retângulo que envolve a pessoa 320

6 selecionada é atualizado frame a frame, indicando seu deslocamento durante a execução do vídeo. A Fig. 12 mostra um frame contendo duas pessoas envolvidas por retângulos, um na cor vermelha (pessoa selecionada de interesse) e o outro na cor verde. Fig. 12. Exemplo de frame mostrando a pessoa selecionada (retângulo na cor vermelha) durante o decorrer do vídeo. V. EXPERIMENTOS REALIZADOS Nos experimentos, foi usado um vídeo com as seguintes propriedades: 15 segundos de duração, 25 frames por segundo e resolução de 240 x 320 pixels ( watch?v=8ymerr_zwqs&feature=youtu.be). Durante os experimentos foram utilizadas duas variáveis configuráveis para testar o desempenho do algoritmo. As variáveis utilizadas foram: Quantidade válida de características, que determina a quantidade mínima de características para a identificação de uma pessoa, as características analisadas são tipo e cor da roupa superior e inferior, e ajuste de posição, que determina a área a ser verificada. Neste perímetro procura-se encontrar pessoas nas proximidades da última detecção para o seu reconhecimento. Para diminuir o tempo de processamento nos experimentos, foram usados apenas um a cada cinco frames do vídeo, sendo obtidos os resultados apresentados a seguir. TABELA I. RESULTADOS DE IDENTIFICAÇÃO. Identificações Acertos (%) Esperadas Obtidas ,025 TABELA II. RESULTADOS DE RECONHECIMENTO. Esperados Frames 78 Reconhecimento 78 Acertos (%) 100 Média (%) 100 TABELA III. RESULTADOS DE RECONHECIMENTO, AJUSTE POSIÇÃO = 10. Obtidas com ajuste posição = 10 Características >= 2 Frames 78 Reconhecimento Médio 70,32 Acerto Médio (%) 90,16 TABELA IV. RESULTADOS DE RECONHECIMENTO, AJUSTE POSIÇÃO = 5. Obtidas com ajuste posição = 5 Características >= 2 Frames 78 Reconhecimento Médio 72,66 Acerto Médio (%) 93,15 VI. CONSIDERAÇÕES FINAIS Esse trabalho foi motivado pela dificuldade que usuários de circuito fechado de segurança têm em visualizar diversos ambientes monitorados por câmeras. A ausência de um sistema que os auxiliem na área da segurança é algo que vem ganhando importância a cada dia. Nesta proposta, diferentes algoritmos são utilizados para a identificação e o rastreamento de pessoas a partir da extração de suas características. Os resultados obtidos nos testes foram considerados satisfatórios. Como trabalho futuros, pode-se utilizar como base a mesma metodologia proposta, e a partir dela aplicar o reconhecimento para um circuito de câmeras, entretanto, seria necessário implementar a otimização da metodologia, utilizando a GPU, como forma de acelerar o processamento. REFERÊNCIAS [1] W. Amaral, C.L. Tozzi. Tracking People through occlusions using a Head Detection Method. In: IX Workshop de Visão Computacional (WVC 2013). Anais... Rio de Janeiro/RJ: FGV, [2] J.A. Canny. Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, No. 6, pp , [3] N. Dalal, B. Triggs. Histograms of Oriented Gradients for Human Detection. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2005). Proceedings, [4] B.K.P. Horn, B.G. Schunck. Determining optical flow, Artificial Intelligence, vol 17, pp , [5] R.E. Kalman. A New Approach to Linear Filtering and Prediction Problems, Transaction of the ASME - Journal of Basic Engineering, pp , March [6] A.L.B. Rosa, D.S. Reis, P.C.R. Gomes, M.E. Stivanello. Sistema de Rastreamento de objetos através de Múltiplas Câmeras. In: XXI Seminário de Computação (SEMINCO 2012). Anais... Blumenau/SC: FURB, 2012, pp [7] J. See, K.C. Wei, A. B. Rahman, N. Anwar. RGB-H-CbCr Skin Model for Human Face Detection. In: MMU International Symposium on Information and Communication Technologies (M2USIC 2006). Proceedings Malaysi, [8] K.A. Sousa. O. Uso de Visão Computacional em dispositivos móveis para Auxílio à travessia de pedestres com Deficiência Visual. In Programa de Pós-Graduação Em Engenharia Elétrica (PPGEE 2013). Anais... São Paulo/SP: Universidade Presbiteriana Mackenzie, [9] J. Stewart. Multivariable Calculus, Belmont: Books/Cole, Disponível em: < K1LyXtlFDbkC&printsec=frontcover&hl=pt-BR&source=gbs_ge_ summary_r&cad=0#v=onepage&q&f=false>. Acesso em: 30 abr [10] C. Suliman; C. Cruceru, F. Moldoveanu. Kalman Filter Based Tracking in an Video Surveillance System. In: 10th International Conference on Development and Application Systems (DAS 2010). Proceedings Suceava/Romania: Universitatea Stean cel Mare Suceava, pp [11] F. Truzzi, N. Werneck, A. Costa. Rastreamento de Pessoas em Sequências de Imagens Capturadas por uma Câmera Estática. In: V Workshop de Visão Computacional (WVC 2010). Anais... Presidente Prudente/SP: Unesp, 2010, pp