AMANDA SAORI FUKUSHIGUE HAMA SEGMENTAÇÃO DE OBJETOS EM MOVIMENTO UTILIZANDO PROCESSAMENTO DE VÍDEO

Transcrição

1 AMANDA SAORI FUKUSHIGUE HAMA SEGMENTAÇÃO DE OBJETOS EM MOVIMENTO UTILIZANDO PROCESSAMENTO DE VÍDEO LONDRINA PR 2018

2

3 AMANDA SAORI FUKUSHIGUE HAMA SEGMENTAÇÃO DE OBJETOS EM MOVIMENTO UTILIZANDO PROCESSAMENTO DE VÍDEO Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Prof. Dr. Alan S.Felinto LONDRINA PR 2018

4 Amanda Saori Fukushigue Hama Segmentação de objetos em movimento utilizando processamento de vídeo/ Amanda Saori Fukushigue Hama. Londrina PR, p. : il. (algumas color.) ; 30 cm. Orientador: Prof. Dr. Alan S.Felinto Universidade Estadual de Londrina, Background-subtraction. 2. Smoothing Images. 3. Denoise. 4. Background- Segmentation. I. Alan Salvany Felinto. II. Universidade Estadual de Londrina. III. Departamento de Computação. IV. Segmentação de objetos em movimento utilizando processamento de vídeo. CDU 02:141:005.7

5 AMANDA SAORI FUKUSHIGUE HAMA SEGMENTAÇÃO DE OBJETOS EM MOVIMENTO UTILIZANDO PROCESSAMENTO DE VÍDEO Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Prof. Dr. Alan S.Felinto Universidade Estadual de Londrina Orientador Prof. Dr. Daniel dos Santos Kaster Universidade Estadual de Londrina Prof. Dr. Adilson Luiz Bonifácio Universidade Estadual de Londrina Londrina PR, 9 de fevereiro de 2018

6

7 AGRADECIMENTOS Gostaria de agradecer aos meus pais Érika e Setsuo, por me incentivarem na vida pessoal e acadêmica, ao meu irmão Vitor, que mesmo estando em outro país me ajudou tanto para momentos de relaxamento quanto para os de estudos. Agradeço também aos meus amigos, colegas de sala, professores e funcionários da universidade por proporcionarem um ambiente saudável para aprendizado e momentos de descontração, e agradecimentos especiais ao Prof. Dr. Alan Salvany Felinto por aceitar ser o orientador deste trabalho.

8

9 HAMA,AMANDA SAORI FUKUSHIGUE. Segmentação de objetos em movimento utilizando processamento de vídeo. 48 p. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) Universidade Estadual de Londrina, Londrina PR, RESUMO A segmentação de objetos em movimento, durante uma sequência de imagens, é aplicada em sistemas de monitoramento automáticos estáticos, pois é possível indicar os momentos do vídeo que apresentam alguma movimentação, assim diminuindo o tempo necessário para a busca destes momentos, ou para a ativação de alguma atividade caso haja movimento no ambiente monitorado. Este trabalho tem como objetivo utilizar métodos encontrados na literatura para resolver o problema da segmentação automática em vídeo, com a finalidade de avaliar o desempenho de cada método. Também foi verificado o desempenho da segmentação de vídeo utilizando filtros para retirar ruídos, como os filtros da média, mediana, morfológico e gaussiana. Com a finalidade de analisar os resultados obtidos, foi utilizada uma base de dados de vídeos em que foram realizadas, previamente, a segmentação manual. Então, comparou-se a segmentação automática obtida com a manual, com isso foi possível indicar que a utilização dos filtros de ruído alteram na qualidade do resultado do método de subtração de fundo, na maior parte dos testes realizados houveram melhorias na segmentação. Palavras-chave: Subtração de fundo. Segmentação de fundo. Remoção de ruído.

10

11 HAMA,AMANDA SAORI FUKUSHIGUE. Segmentation of moving objects using video processing. 48 p. Final Project (Bachelor of Science in Computer Science) State University of Londrina, Londrina PR, ABSTRACT Segmentation of moving objects during a sequence of images is applied in automatic and static monitoring systems, as it is possible to show the moments in the video that have movement of objects, thus reducing the time required to search for these moments, or for the activation of some activity if there is movement in the monitored environment. This work aims to use methods found in the literature to solve the problem of automatic video segmentation, with the purpose of evaluating the performance of each method. It was also verified the performance of video segmentation using filters to remove noise, such as normalized block, gaussian, median and morphologic filters. In order to analyze the results obtained, a video database was used in which manual segmentation was previously performed. Then, the automatic segmentation obtained was compared with the manual segmentation, so it was possible to show that the use of the noise filters changes the quality of the result of the background subtraction method, in the majority of tests performed there were improvements in the segmentation. Keywords: Background-subtraction. Background-segmentation. Denoise.

12

13 LISTA DE ILUSTRAÇÕES Figura 1 Exemplo de operações morfológicas Figura 2 Exemplo de subtração de fundo Figura 3 Fluxograma Figura 4 Imagem do frame1001 do vid001 e a sua segmentação manual Figura 5 Imagem do frame249 do vid003 e a sua segmentação manual Figura 6 Exemplo de resultados do método KNN com a utilização dos filtros Figura 7 Resultados no espaço ROC do vid001 frame Figura 8 Resultados no espaço ROC do vid001 frame Figura 9 Resultados no espaço ROC do vid003 frame Figura 10 Resultados no espaço ROC do vid003 frame

14

15 LISTA DE TABELAS Tabela 1 Resultados do frame 1001 do vid Tabela 1 Resultados do frame 1001 do vid Tabela 2 Resultados do frame 1443 do vid Tabela 3 Resultados do frame 249 do vid Tabela 3 Resultados do frame 249 do vid Tabela 4 Resultados do frame 650 do vid Tabela 4 Resultados do frame 650 do vid Tabela 5 "Ganhadores"vid001 frame Tabela 6 "Ganhadores"vid001 frame Tabela 7 "Ganhadores"vid003 frame Tabela 8 "Ganhadores"vid003 frame

16

17 LISTA DE ABREVIATURAS E SIGLAS MOG KNN GMG ROC Mixture of Gaussians K-nearest Neighbors Godbehere, Matsukawa, Goldberg, autores do artigo Visual Tracking of Human Visitors under Variable-Lighting Conditions for a Responsive Audio Art Installation Receiver Operating Characteristic

18

19 SUMÁRIO 1 INTRODUÇÃO FUNDAMENTAÇÃO TEÓRICA Histograma Estimativa de densidade kernel Expectation-maximization (EM) algorithm Imagem Digital Espaço ROC Gaussiana OpenCV Ruído em imagens digitais Filtros para remoção de ruído Filtros espaciais para remoção de ruído Operações morfológicas Métodos de Subtração de fundo Modelos de mistura de fundo adaptável para rastreamento em tempo real - Stauffer e Grimson Método MOG Método MOG Método KNN Método GMG Trabalhos relacionados PROCEDIMENTOS METODOLÓGICOS/MÉTODOS E TÉC- NICAS Etapas do algoritmo Entrada Filtro para remoção de ruído Método de subtração de fundo Métricas de Avaliação Validação ANÁLISE E RESULTADOS OBTIDOS Base de dados vid vid

20 4.2 Resultados CONCLUSÃO REFERÊNCIAS

21 19 1 INTRODUÇÃO Em sistemas de vigilância automáticos tem-se preferência de que sejam apenas gravados ou informados os momentos com alguma importância, como o movimento no ambiente observado. Para uma câmera estática, o método mais simples para obter os objetos em movimento segmentados de uma cena é conseguir primeiro um modelo do fundo que se está observando, que é a imagem do ambiente monitorado sem objetos em movimento, e então fazer uma subtração pixel a pixel entre a imagem modelo e a imagem atual. As coordenadas que tiverem valores em módulo acima de um dado limiar indicarão movimento naquele local, e o restante será considerado fundo. O limiar é utilizado pois existem variações nos valores dos pixels como os ruídos da própria câmera[1]. Porém, a abordagem desse método não é eficiente para exemplos como ambientes que têm mudanças de luminosidade, objetos que se movem constantemente no fundo como galhos e folhas com o vento, e objetos pertencentes ao fundo que foram movidos. Para resolver alguns destes problemas existem métodos como a Mistura de Gaussianas (MOG - Mixture of Gaussians) [2] [3] [4], Estimativa da densidade de Kernel variável [5], e Segmentação com uso de histograma [6]. Nesta pesquisa, serão verificados quatro métodos de subtração de fundo KNN [5], MOG [3], MOG2 [4], GMG [6], utilizando quatro filtros diferentes para redução de ruído nas imagens: media, mediana, morfológico e gaussiana; e então obter o melhor resultado entre as combinações de método e filtro em dois frames de dois vídeos distintos. Para obter os resultados para a avaliação serão comparados as saídas dos métodos de subtração de fundo com a segmentação manual desses frames obtendo os falsos positivos e negativos e verdadeiros positivos e negativos, com esses valores é possível utilizar as métricas de avaliação: precisão, revocação, acurácia, e alarmes falsos. Também foi utilizado o espaço ROC mostrando o benefício (revocação) pelo custo (alarmes falsos) de todos os resultados para cada um dos quatro testes, a base de dados utilizada é de [7], que foi usada para o workshop BMC (Background Models Challenge). O trabalho está dividido nos seguintes capítulos: Capítulo 2, onde é descrito as fundamentações teóricas e metodológicas necessárias para o entendimento da pesquisa, além de indicar outros trabalhos relacionados à pesquisa como [8] e [9], que fazem uma comparação dos métodos de subtração de fundo e [10] e [11], que fazem uma revisão sobre os algoritmos de subtração de fundo; Capítulo 3, onde é descrito os materiais utilizados para a realização da pesquisa, uma breve explicação das etapas do algoritmo usado e como será realizada a validação; Capítulo 4, onde é feita a apresentação dos resultados e a análise destes; e Capítulo 5, onde são escritos as conclusões que foram obtidas ao longo da pesquisa.

22

23 21 2 FUNDAMENTAÇÃO TEÓRICA Neste capítulo serão descritas algumas fundamentações teóricas necessárias para o entendimento do trabalho. Nas próximas seções serão apresentados alguns conceitos relacionados ao processamento digital de imagem, tais como, a imagem digital, os filtros de remoção de ruído e o espaço de cores. Também serão descritos os métodos de subtração de fundo estudados e alguns conceitos que são usados nesses métodos, tais como, o histograma, a estimativa de densidade kernel, o Expectation-maximization (EM) algorithm, a gaussiana. Além de descrever o espaço ROC que será usado para a avaliação dos resultados e também serão indicados outros trabalhos relacionados à pesquisa. 2.1 Histograma Um histograma para uma imagem digital com níveis de intensidade no intervalo [0, I - 1] é uma função discreta P (r k ) = n k, onde k é o intervalo da intensidade k = 0, 1, N 2,..., I 1, n k o somatório dos pixels da imagem que tem o nível de cinza k, r k o nível de cinza k do pixel r. O histograma é normalizado pela divisão de cada componente pelo número total de pixels da imagem, ou seja, produto MN, onde M e N são o tamanho de linha e coluna da imagem. De modo geral, p(r k ) é uma estimativa da probabilidade de ocorrência do nível de intensidade r k em uma imagem. A soma de todos os componentes de um histograma normalizado é igual a 1 [1]. 2.2 Estimativa de densidade kernel Um kernel é uma função integrável de valor real não negativo que seja simétrica, quando em Estimativa de densidade kernel sua integral de preferência tem valor um. A estimativa de densidade kernel é uma estatística não paramétrica, ou seja, não possuem estruturas ou parâmetros característicos para dados ou população. Em estatística, a estimativa de densidade kernel é um método não paramétrico de estimar a função de densidade de probabilidade de uma variável aleatória, usando um kernel para cada amostra e então somando-os para formar a estimativa de densidade. Lugares com concentração de amostras terão uma densidade maior. Este método é um problema de suavização fundamental onde inferências são feitas a partir de uma amostra finita [12]. O método de subtração de fundo KNN utiliza conceitos da estimativa de densidade kernel.

24 Expectation-maximization (EM) algorithm Em estatística, o algoritmo de EM é um método iterativo para achar a máxima probabilidade de parâmetros estimados em modelos estatísticos, em que o modelo depende de variáveis ainda não conhecidas [13]. A iteração alterna entre uma etapa de expectativa, onde é criada uma função para a expectativa da probabilidade logarítmica avaliada usando a estimativa atual dos parâmetros, e uma etapa de maximização, onde são calculados os parâmetros que maximizam a expectativa logarítmica esperada encontrada na etapa de expectativa. Então esses parâmetros são usados para a próxima etapa de expectativa. No método MOG é utilizado um algoritmo EM. 2.4 Imagem Digital Um espaço de cor é um sistema para representar cores de modo numérico. Os modelos que podem ser usados são o aditivo, onde as cores primárias (vermelho, verde e azul) podem ser somadas para produzir as cores secundárias de luz (RGB), e subtrativo, onde as partículas chamadas pigmentos absorvem ou subtraem uma cor primária da luz e reflete ou transmite as outras duas (CYMK) [1]. Uma imagem digital é representada por uma matriz, e esta matriz é formada por pixels, que são os menores elementos em um dispositivo de exibição, normalmente tem forma quadrada ou retangular, e cada pixel tem atribuído a ele um valor que representa uma cor. Caso essa imagem pertença a uma sequência com outras imagens formando um tipo de vídeo, esta imagem será reconhecida como um frame daquele vídeo [14]. 2.5 Espaço ROC Um gráfico de Característica de Operação do Receptor (COR), ou Receiver Operating Characteristic (ROC) é uma técnica para visualização e organização. Com ele é possível selecionar um classificador baseado na sua performance [15]. Um gráfico COR é um gráfico bidimensional onde a revocação é colocada no eixo y e os alarmes falsos no x, ele mostra com isso a relação de troca entre benefício e custo. De modo informal, um ponto é melhor do que outro se estiver mais a noroeste (onde a revocação é mais alta e os alarmes falsos menores) deste. Se um teste tiver um resultado já conhecido, é possível classificar o resultado encontrado pelo classificador entre: 1 - Verdadeiro positivo (vp): É considerado como verdadeiro positivo o resultado que for classificado como positivo (1) e o resultado real deste teste é positivo (1);

25 Falso positivo (fp): É entendido como falso positivo o resultado que for classificado como positivo (1) e o resultado real do teste é negativo (0); 3 - Verdadeiro negativo (vn): É considerado como verdadeiro negativo o resultado que for classificado como negativo (0) e no mesmo teste o resultado real é negativo (0); 4 - Falso negativo (fn): É considerado como falso negativo o resultado que for classificado como negativo (0) e no mesmo teste o resultado real é positivo (1). Fórmula para Revocação revocação = vp vp + fn (2.1) Fórmula para Alarmes Falsos AlarmesF alsos = fp fp + vn (2.2) 2.6 Gaussiana A distribuição normal, também conhecida como distribuição gaussiana, é uma distribuição de probabilidade absolutamente contínua parametrizada pela sua esperança (média representada pelo μ), a soma do produto de cada probabilidade de saída da experiência pelo seu respectivo valor, e o desvio padrão (número real positivo σ). A densidade de probabilidade da distribuição normal é denotada como f(x) = 1 σ 1 e 2 ( x μ σ )2. 2π 2.7 OpenCV O OpenCV é um software open source de biblioteca para visão computacional e aprendizagem de máquina. A biblioteca apresenta os métodos, MOG (cv::bgsegm::backgroundsubtractormog), MOG2 (cv::backgroundsubtractormog2 ), Simple Ballon variable kernel density estimation (cv::backgroundsubtractorknn ), e Segmentação de foreground probabilística (cv::bgsegm::backgroundsubtractorgmg) com implementação disponível, assim como os filtros para remoção de ruídos, mediana (medianblur), gaussiana (GaussianBlur) e as operações morfológicas de dilatação (dilate) e erosão (erode).

26 Ruído em imagens digitais Para imagens digitais, os ruídos ocorrem principalmente durante a aquisição ou na transmissão das imagens. Na aquisição, como os sensores de aquisição de imagem são afetados por uma série de fatores, tais como, as condições ambientais durante a obtenção da imagem, e a qualidade dos sensores. Na transmissão, o ruído ocorre devido a corrupção da imagem, isso acontece principalmente por causa de interferências no canal usado para a transmissão [1]. 2.9 Filtros para remoção de ruído Nesta seção serão descritos os filtros de remoção de ruído utilizados, eles serão divididos entre filtros espaciais e operações morfológicas Filtros espaciais para remoção de ruído Um filtro espacial é feito de uma vizinhança (normalmente um pequeno retângulo, ou quadrado), e uma operação escolhida realizada sobre os pixels da imagem que estão dentro da vizinhança. Essa filtragem cria um novo pixel com as mesmas coordenadas do centro da vizinhança e o seu valor é o resultado da operação de filtragem. Uma imagem filtrada é gerada conforme o centro do filtro percorre cada pixel da imagem de entrada [14] [16]. Pode ser representado por: g(i, j) = k,l f(i + k, j + l)h(k, l) (2.3) Onde g(i, j) é a coordenada na nova imagem que receberá o resultado, f(i + k, j + l) a função realizada na vizinhança, e h(k, l) é um kernel, definindo a vizinhança. Neste trabalho serão usados os filtros espaciais da média, mediana e gaussiana. 1) Filtro da média: O resultado obtido ao usar o filtro é a média dos pixels da vizinhança, ele retira ruídos porém borra a imagem. 2) Filtro da mediana: A saída é a mediana entre os pixels da vizinhança, é um filtro não linear. 3) Filtro da Gaussiana: Aplica-se um kernel gaussiano nos pixels da vizinhança, onde os pixels do centro tem maior peso e conforme vai para a borda do kernel os pesos diminuem.

27 Operações morfológicas As operações morfológicas são usadas para remover ruídos, detectar buracos e picos de intensidade na imagem, isolar ou juntar elementos em uma imagem. É um conjunto de operações baseadas em formas que processam a imagem, pois aplicam um elemento estruturante em uma imagem e geram uma imagem de saída. As duas operações morfológicas mais básicas são a Erosão e a Dilatação[17]. 1) Erosão: Consiste em fazer a convolução de uma imagem e um kernel, este podendo ser de tamanho e forma qualquer (geralmente um quadrado ou um círculo). O kernel precisa de um ponto âncora (geralmente o centro do kernel). Conforme o kernel passa pela imagem, é computado o valor do pixel mínimo sobreposto pelo kernel e então o pixel da imagem na posição do ponto âncora é substituído com esse valor. Como resultado as regiões da imagem diminuem. 2) Dilatação: Assim como a erosão, consiste em fazer a convolução de uma imagem e um kernel, e o kernel necessita de um ponto de ancoragem. Conforme o kernel passa pela imagem, é computado e valor de pixel máximo sobreposto pelo kernel e então o pixel da imagem na posição do ponto âncora é substituído com esse valor. Como resultado as regiões da imagem crescem. 3) Abertura: Para a Abertura é feito uma Erosão seguida de uma Dilatação, com isso elimina-se conjuntos de pixels menores que o elemento estruturante, suavizando a imagem. 4) Fechamento: Para o Fechamento é feito uma Dilatação seguida de uma Erosão, com isso elimina-se buracos menores que o elemento estruturante, suavizando a imagem. Um exemplo de utilização de operações morfológicas é a Figura 1, que mostra o uso de uma operação de erosão e depois uma de dilatação ambos utilizando o mesmo elemento estruturante. Figura 1 Exemplo de operações morfológicas.

28 Métodos de Subtração de fundo A subtração de fundo é uma técnica que usa uma câmera estática, para gerar uma imagem binária contendo os pixels que pertencem aos objetos em movimento na cena. Para isto é feita uma subtração entre o frame atual e o modelo do fundo, que contém a parte estática da cena ou tudo o que pode ser considerado como fundo dependendo do ambiente observado, um exemplo desta técnica é a Figura 2. Figura 2 Exemplo de subtração de fundo. onde o limiar significa, um valor de erro proveniente de algum ruído na captura das imagens, no qual, se o resultado da subtração entre o frame atual e o modelo for maior que o limiar, aquele pixel pertence a um objeto em movimento, e caso contrário o pixel pertence ao fundo. Para utilizar um método de subtração de fundo na biblioteca OpenCV é necessário criar um BackgroundSubtractor, e aplicá-lo no frame desejado usando apply. Um exemplo de criação e aplicação de um subtrator de fundo MOG: Ptr<BackgroundSubtractor>bsMOG = cv::createbackgroundsubtractormog bsmog ->apply(frame,mask) onde o frame é o frame em que se quer utilizar o subtrator de fundo, e mask uma matriz que receberá o resultado do método. Nas próximas três seções (2.10.1, , ), serão descritos alguns métodos de subtração de fundo.

29 Modelos de mistura de fundo adaptável para rastreamento em tempo real - Stauffer e Grimson Cada pixel (coordenada) é terá uma mistura de k gaussianas, sendo k um valor de 3 a 5. Cada gaussiana é representada por uma variância e uma média. Para cada coordenada, cada gaussiana representa uma cor diferente para aquela coordenada, e recebe um peso proporcional ao tempo em que aquela cor permaneceu na cena ao passar dos frames. Os componentes do fundo são decididos assumindo que o fundo é formado pelas B cores mais prováveis, as cores de fundo mais prováveis são aquelas que permaneceram por mais tempo e foram mais estáticas. Para o modelo se adaptar às mudanças de luminosidade é feita uma atualização em que todo novo pixel é verificado com cada uma das gaussianas existentes, para aquela coordenada em ordem de peso, o primeiro componente que for compatível com aquele pixel é atualizado, caso não haja uma correspondência para aquele pixel, uma nova gaussiana será criada, com o valor desse pixel como média e com uma variância alta, caso já existam m gaussianas, sendo m o número de gaussianas por coordenada escolhido, o componente com menor probabilidade será descartada para ser substituído pelo novo componente [4]. Este método apresenta um problema de demora de adaptação e classificação de um pixel como pertencente ao fundo caso nos estágios iniciais este pixel seja de um objeto em movimento Método MOG Método disponível na biblioteca OpenCV como cv::bgsegm::backgroundsubtractormog [2], propõe uma solução para a demora da classificação de um pixel como fundo, caso nos estágios iniciais este pixel estivesse coberto por um elemento do foreground, que ocorria na Mistura de Gaussianass de Stauffer e Grimson [4]. As fases deste método são parecidas com o de [4] com a mudança apenas na atualização e uma implementação de detecção de sombra. O início da estimação do modelo de mistura de gaussianas é feito pelo algoritmo de EM (Expectation-maximization), que após L amostras serem processadas, muda para outra forma de atualização, o L-recent window. A primeira forma informa uma boa estimativa do começo antes das L amostras serem processadas, ele melhora a acurácia da estimativa e também a performance do método permitindo uma rápida convergência em um fundo estável, o L-recent window dá a prioridade para os dados mais recentes, ajudando o modelo a se adaptar às mudanças de ambiente. A detecção de sombra é feita verificando os pixels ao redor dos objetos do foreground. Caso o brilho e a cor desses pixels estiverem dentro de um limiar, estes serão considerados como sombra.

30 Método MOG2 O método está disponível na biblioteca OpenCV como cv::backgroundsubtractormog2 [3], apresenta a ideia de calcular o número de gaussianas para cada pixel, diferente do MOG de Stauffer e Grimson que tem um número fixo de gaussianas por coordenada. Esse método pode diminuir o tempo de processamento em comparação ao MOG de Stauffer e Grimson, mas apenas se para o vídeo escolhido seja necessário um número menor de gaussianas do que o número de gaussianas escolhidas para o MOG, porém para casos de vídeos complexos o tempo de processamento é quase igual. Para o cálculo do número de gaussianas, ocorre uma mudança na atualização dos valores das gaussianas, sendo utilizado um valor negativo relacionado com o número de amostras que estavam na classe anteriormente no cálculo do peso, caso a soma do peso fique negativa a gaussiana é descartada Método KNN O Simple Ballon variable kernel density estimation do artigo [5] está implementado na biblioteca OpenCV usando cv::backgroundsubtractorknn. Neste método, para cada pixel (coordenada) o kernel tem tamanho variável, sendo aumentado até cobrir um número k de dados. Cada dado é um valor que aquele pixel teve durante um período de tempo t a T, T sendo o tempo atual, e t - T o período de tempo definido para manter o gasto de memória e o número de cálculos em níveis aceitáveis. Com isso têm-se kernels largos em áreas com poucas amostras e kernels pequenos em lugares com muitas amostras próximas. A classificação para um novo pixel é feita verificando a densidade populacional usando o kernel daquela coordenada e o valor desse novo pixel como centro. Essa conta leva em consideração o tamanho do kernel usado, e o número de amostras que foram encontrados, algo parecido com a classificação k-nn. Então, verificado a que classificação esses vizinhos pertencem e calcula-se a que classe o novo pixel se adequa. Depois, atualiza as amostras descartando a mais antiga e adicionando a mais nova, mantendo t - T amostras, e é feito novamente o cálculo do tamanho do kernel Método GMG O método cv::bgsegm::backgroundsubtractorgmg disponível na biblioteca OpenCV, do artigo [6]. Neste método cada pixel (coordenada) tem guardado um histograma no espaço de cor RGB, onde o número máximo de cores que o histograma pode ter é definido pelo número total de pixels que são considerados fundo (F max ). No artigo é feito uma suposição de que o histograma é esparso, e para isso acontecer, como existe a ocorrência de ruídos, é feito um ajuste de dados, com uma quantização linear. A inicialização do histograma é feita com os primeiros T frames, de onde são escolhidos as F tot F max cores de pixels únicas mais recentes. Os T frames usados para

31 29 iniciar o histograma devem ser apenas do fundo. Para os frames após T, para cada pixel (coordenada) será calculada a probabilidade de a cor daquele pixel pertencer ao fundo ou não é gravado em uma outra imagem formando uma imagem de probabilidades, que passará por uma operação morfológica de abertura seguida por uma de fechamento, para suavização. Com a matriz de probabilidades de cada pixel é feito uma classificação por limiar, e então é criado uma imagem binária, que passará por uma operação de abertura e fechamento, conectando regiões adjacentes não conectadas e remover pequenas regiões. Após, é usado as regiões 8-conectadas consideradas como foreground para formar objetos, e então obter os pixels que são considerados como foreground. O histograma não é atualizado onde o pixel é considerado com foreground, no caso do pixel ser considerado como de fundo, se o valor deste pixel não existir no histograma daquela coordenada, e o histograma tiver F max elementos então o elemento com o menor peso será removido, em caso de empate será removido de modo aleatório, e o histograma será re-normalizado, para depois ser adicionado o novo valor, caso contrário só será adicionado ao histograma, para os pixels que não apresentam recorrência ao longo dos frames o seu peso é diminuído, enquanto que do contrário os pesos são mantidos Trabalhos relacionados Existem trabalhos como [8] e [9] que comparam métodos de subtração de fundo e trabalhos como [10] e [11] que fazem uma análise de alguns dos algoritmos de subtração de fundo. 1) O artigo [8] tem como objetivo: avaliar a diferença nos resultados dos métodos de subtração de fundo mais sofisticados em comparação com os mais simples; comparar o poder de processamento e a memória necessária para cada método durante a execução; e determinar a que tipo de vídeo cada método melhor se adequa. 2) O artigo [9] tem como objetivo realizar experiências comparativas de métodos de modelagem de fundo. 3) O artigo [10] tem como objetivo agrupar as diferentes estratégias de subtração de fundo em um trabalho e classificá-los de acordo com os diferentes passos e problemas do modelo MOG. 4) O artigo [11] fornece uma revisão completa sobre as limitações e benefícios dos principais métodos e faz uma categorização baseada em velocidade, requisitos de memória e acurácia. Este trabalho tem a intenção não apenas de comparar os resultados dos métodos já disponíveis na biblioteca OpenCV, como também os resultados desses mesmos métodos em conjunto com algum tipo de filtro de ruído, e verificar se há melhorias e se houver qual é a melhor combinação entre método e filtro para os testes feitos.

32

33 31 3 PROCEDIMENTOS METODOLÓGICOS/MÉTODOS E TÉCNICAS Neste capítulo serão descritas as etapas do algoritmo que foi utilizado para se obter os resultados dos métodos de subtração de fundo, e sobre a validação que foi usada para indicar os métodos que tiverem as melhores performances. 3.1 Etapas do algoritmo Nesta seção será mostrado o fluxograma do algoritmo que será usado (Figura 3) e a descrição das suas etapas, tendo como resultado os produtos dos métodos de subtração de fundo com e sem os filtros de ruído, e os compara com a segmentação manual para adquirir os valores de falsos positivos, falsos negativos, verdadeiros positivos e verdadeiros negativos, fornecendo os dados para a avaliação da performance nos frames dos vídeos usados Entrada Para iniciar o programa feito no OpenCV versão em C++, a entrada deve ser um vídeo, a imagem de segmentação manual(binária) e a imagem referente a imagem de segmentação manual (imagem original). Para cada frame do vídeo, em sequência, as seguintes etapas devem ser realizadas: Aplicação de um filtro para remoção de ruído, uso de um método de subtração de fundo, e cálculo das métricas de avaliação (3.1.2, 3.1.3, 3.1.4) até ser encontrada a imagem de referência para a segmentação manual, ou não houver mais frames do vídeo Filtro para remoção de ruído Como a filtragem de ruído é utilzada para remover o ruído nas imagens obtidas, será feita uma cópia do frame atual para cada filtro de ruído que será testado, e então será usado um dos filtros em cada um deles, sendo esses filtros o da mediana (median- Blur) com kernel de tamanho 3, gaussiana (GaussianBlur) usando um kernel 3x3 e 0 para sigmax e para sigmay, que são os desvio padrão da kernel gaussiano na direção X e Y respectivamente, operações morfológicas (Abertura e Fechamento) com elemento elíptico 2x2, e filtro da média (Blur) com uma janela 3x3 com a âncora sendo (-1,-1)

34 32 Figura 3 Fluxograma Método de subtração de fundo Com o frame atual e suas cópias com a aplicação de filtro de ruído, será utilizado um dos métodos de subtração de fundo implementados no OpenCV, podendo ser entre: 1 - MOG (cv::bgsegm::backgroundsubtractormog) com os parâmetros: history = 500, nmixtures = 5, backgroundratio = 0.7, noisesigma = 0, onde history é o número de frames que devem ser considerados, nmixtures o número de gaussianas, e backgroundratio é o T; 2 - MOG2 (cv::backgroundsubtractormog2 ) com os paramêtros: history = 500, varthreshold = 16, e detectshadow = True, onde detectshadow indica se será detectado a sombra dentro do que foi considerado como em movimento, a região que o método considera como sombra se tornará cinza em vez de branco; 3 - Simple Ballon variable kernel density estimation (cv::backgroundsubtractorknn )

35 33 com os parâmetros: history = 500, dist2threshold = 400.0, e detectshadow = True; 4 - Segmentação de foreground probabilística (cv::bgsegm::backgroundsubtractorgmg) com os parâmetros: InitializationFrames = 120, e decisionthreshold = 0.8, onde InitializationFrames é o número de frames que são necessários para inicializar o método. Os valores dos parâmetros utilizados são os valores padrões indicados na documentação do OpenCV Métricas de Avaliação Caso o frame for correspondente à imagem de referência para a segmentação manual (imagem original), para a correspondência foi utilizado um limiar de até 2 de valor do pixel numa diferença de pixel a pixel entre o frame atual e o a imagem de referência, é possível realizar uma comparação pixel por pixel entre os resultados e a imagem de segmentação manual, pixels com valores maiores que 200 serão considerados em movimento e os menores como sem movimento. Isso se deve ao fato de que os métodos MOG2 e GMG tem detecção de sombra e a cor para sombra é um valor de nível de cinza abaixo de 200 e não devem ser consideradas como em movimento, com isso são obtidos os seguintes valores: 1 - Verdadeiros positivos (vp): São considerados como verdadeiros positivos os pixels do resultado que forem classificados como em movimento e nas mesmas coordenadas na imagem de segmentação manual também; 2 - Falsos positivos (fp): São entendidos como falsos positivos os pixels do resultado que forem classificados como em movimento e nas mesmas coordenadas na imagem de segmentação manual são considerados como sem movimento; 3 - Verdadeiros negativos (vn): São considerados como verdadeiros negativos os pixels do resultado que forem classificados como sem movimento e nas mesmas coordenadas na imagem de segmentação manual também; 4 - Falsos negativos (fn): São considerados como falsos negativos os pixels do resultado que forem classificados como sem movimento e nas mesmas coordenadas na imagem de segmentação manual são entendidos como com movimento. Usando esses valores é possível calcular também as seguintes métricas de avaliação: 1 - Precisão: Taxa de classificação correta como em movimento (vp) dentre todos os pixels que foram classificados como em movimento pelo método;

36 34 precisão = vp vp + fp (3.1) 2 - Acurácia: Taxa de acerto do método; acurácia = vp + vn vp + vn + fp + fn (3.2) 3 - Revocação: Taxa de classificações corretas como em movimento (vp) dentre todos os pixels que realmente deveriam ser em movimento; revocação = vp vp + fn (3.3) 4 - Alarmes Falsos: Taxa de falsas classificações como em movimento (fp) dentre todos os pixels que deveriam ser considerados como sem movimento. AlarmesF alsos = fp fp + vn (3.4) 3.2 Validação A validação será feita comparando os resultados de falsos positivos e negativos e verdadeiros positivos e negativos de cada um dos métodos, além dos cálculos de precisão, acurácia, revocação e alarmes falsos. Será usado o espaço ROC para a visualização da troca entre o benefício(revocação) e o custo (alarmes falsos) para cada um dos quatro testes e então indicar os métodos que tiveram as melhores saídas comparado com a segmentação manual dada.

37 35 4 ANÁLISE E RESULTADOS OBTIDOS 4.1 Base de dados Para a validação a base de dados utilizada é de [7], que foi usada para o workshop BMC (Background Models Challenge). Cada arquivo.zip tem um vídeo, uma pasta com a segmentação manual(private-truth) e dentro desta pasta uma outra com os frames correspondentes à segmentação manual (color) vid001 O vid001, é um vídeo no formato.avi e apresenta uma gravação á partir de uma câmera estática a movimentação de um estacionamento de veículos aberto. Neste vídeo é apresentado alguns dos lugares para estacionar e elementos como árvores que se movimentam com o vento, uma rua ao fundo com movimentações de carros e também a movimentação de pessoas e dos carros no estacionamento. Neste vídeo foram escolhidos os frames 1001 e 1443 referentes às imagens color1.bmp e color3.bmp da pasta de frames correspondentes que tem segmentação manual e portanto 1.bmp e 3.bmp para a segmentação manual. A figura 4 representa a imagem color1.bmp e a sua segmentação manual 1.bmp. Figura 4 Imagem do frame1001 do vid001 e a sua segmentação manual vid003 Assim como o vid001, o vid003 tem o formato.avi. Este vídeo apresenta uma gravação a partir de uma câmera estática a movimentação de pessoas em um caminho asfaltado. O vídeo não apresenta muitos elementos em movimento além das pessoas. Foram escolhidos os frames 249 e 650 correspondentes às imagens color1.bmp e color2.bmp da pasta de frames color e, portanto 1.bmp e 2.bmp na pasta private-truth. A figura 5

38 36 representa a imagem color1.bmp e a sua segmentação manual 1.bmp. Figura 5 Imagem do frame249 do vid003 e a sua segmentação manual. 4.2 Resultados Nesta seção serão apresentados: um exemplo de saída do algoritmo obtido para o método KNN no frame 249 do vid003(figura 6), os gráficos do espaço ROC (Figura 7, Figura 8, Figura 9, Figura 10) de cada um dos frames testados. Após, estão as tabelas (Tabela 1, Tabela 2, Tabela 3, Tabela 4) contendo os resultados das métricas de avaliação usadas (verdadeiros negativos, verdadeiros positivos, falsos negativos, falsos positivos, acurácia, precisão, alarmes falsos, e revocação), os nomes indicados são a combinação do filtro e o método usados, por exemplo o "OriginalGMG"é a imagem original(sem filtro) com utilização do método GMG, "MorfologicoGMG"é a imagem depois da utilização do filtro morfológico usando o método GMG, e dentre outros. Como os resultados obtidos pelos testes mostram que o número de verdadeiros negativos para os teste realizados são consideravelmente maiores que o restante, e que, portanto, as métricas que utilizam os verdadeiros negativos em seus cálculos (Acurácia e Alarmes falsos) tem valores muito baixos ou muito altos. Com isso, serão levados em maior consideração as métricas de precisão e revocação que não utilizam o valor de vn. Para as tabelas (Tabela 1, Tabela 2, Tabela 3, Tabela 4) o melhor resultado de precisão para cada um dos métodos para aquele frame está em negrito, e o melhor resultado de revocação está em sublinhado. Para uma melhor visualização serão mostradas duas tabelas para cada métrica, uma mostrando os "ganhadores em precisão"de cada método em ordem decrescente e a outra os "ganhadores em revocação", também em ordem descrescente para cada método.

39 37 Figura 6 Exemplo de resultados do método KNN com a utilização dos filtros. Figura 7 Resultados no espaço ROC do vid001 frame1001.

40 38 Figura 8 Resultados no espaço ROC do vid001 frame1443. Figura 9 Resultados no espaço ROC do vid003 frame249.

41 39 Figura 10 Resultados no espaço ROC do vid003 frame650. Tabela 1 Resultados do frame 1001 do vid001 Filtro + Método vn vp fn fp acurácia precisão alarmes falsos revocação OriginalGMG , , , , MorfologicoGMG , , , , MediaGMG , , , , GaussianaGMG , , , , MedianaGMG ,9975 0, , , OriginalMOG , , , , MorfologicoMOG , , , , MediaMOG , , ,22E-05 0, GaussianaMOG , , ,14E-05 0,27907 MedianaMOG , , ,22E-05 0, OriginalMOG , , , , MorfologicoMOG , , , , MediaMOG , , , , GaussianaMOG , , , , MedianaMOG , , , ,64186 OriginalKNN , , , , MorfologicoKNN , , , , MediaKNN , , , , GaussianaKNN , , , ,530233

42 40 Tabela 1 Resultados do frame 1001 do vid001 Filtro + Método vn vp fn fp acurácia precisão alarmes falsos revocação MedianaKNN , , , , Tabela 2 Resultados do frame 1443 do vid001 Filtro + Método vn vp fn fp acurácia precisão alarmes falsos revocação OriginalGMG , , , MorfologicoGMG , , , , MediaGMG , , , , GaussianaGMG , , , , MedianaGMG , , , , OriginalMOG , , , , MorfologicoMOG , , , ,33209 MediaMOG , , , , GaussianaMOG , , , , MedianaMOG , , , , OriginalMOG , , , , MorfologicoMOG , , , , MediaMOG , , , , GaussianaMOG , , , , MedianaMOG , , , , OriginalKNN , , , , MorfologicoKNN , , , , MediaKNN , , , , GaussianaKNN , , , , MedianaKNN , , , , Tabela 3 Resultados do frame 249 do vid003 Filtro + Método vn vp fn fp acurácia precisão alarmes falsos revocação OriginalGMG ,9825 0, , , MorfologicoGMG , , , , MediaGMG , , , , GaussianaGMG , , , , MedianaGMG , , , ,795031

43 41 Tabela 3 Resultados do frame 249 do vid003 Filtro + Método vn vp fn fp acurácia precisão alarmes falsos revocaçã OriginalMOG , , , , MorfologicoMOG , , , , MediaMOG , , , , GaussianaMOG , , , , MedianaMOG , , , ,80310 OriginalMOG , , , , MorfologicoMOG , , , , MediaMOG , , , ,77888 GaussianaMOG , , , , MedianaMOG , , , , OriginalKNN , , , , MorfologicoKNN , , , , MediaKNN , , , ,72795 GaussianaKNN , , , , MedianaKNN , ,9429 0, , Tabela 4 Resultados do frame 650 do vid003 Filtro + Método vn vp fn fp acurácia precisão alarmes falsos revocação OriginalGMG , , , ,76156 MorfologicoGMG , , , ,71475 MediaGMG , , , ,81332 GaussianaGMG , , , ,7918 MedianaGMG , , , ,74834 OriginalMOG , , , ,81828 MorfologicoMOG ,9872 0, , ,66189 MediaMOG ,9933 0, , ,81332 GaussianaMOG , , , ,81222 MedianaMOG , , , ,80781 OriginalMOG , , , ,8584 MorfologicoMOG , , , ,73072 MediaMOG , , , ,84746 GaussianaMOG , , , ,8584 MedianaMOG , , , ,84526

44 42 Tabela 4 Resultados do frame 650 do vid003 Filtro + Método vn vp fn fp acurácia precisão alarmes falsos revocação OriginalKNN , ,8812 0, ,8414 MorfologicoKNN , , , ,67566 MediaKNN , , , ,78964 GaussianaKNN , , , ,80506 MedianaKNN ,9941 0, , ,81497 Tabela 5 "Ganhadores"vid001 frame1001 (a) "Ganhadores em precisão" Filtro + Método precisão MediaMOG 0, MedianaMOG 0, MediaKNN 0, MedianaGMG 0, MediaMOG2 0, (b) "Ganhadores em revocação" Filtro + Método revocação OriginalGMG 0, MediaGMG 0, MediaMOG2 0, MediaKNN 0, OriginalMOG 0, Tabela 6 "Ganhadores"vid001 frame1443 (a) "Ganhadores em precisão" Filtro + Método precisão MediaMOG 0, MedianaGMG 0, MediaMOG2 0,26839 MedianaKNN 0, (b) "Ganhadores em revocação" Filtro + Método revocação OriginalGMG 1 OriginalMOG2 0, OriginalMOG 0, OriginalKNN 0,395522

45 43 Tabela 7 "Ganhadores"vid003 frame249 (a) "Ganhadores em precisão" Filtro + Método precisão MediaKNN 0, MedianaMOG 0, MediaMOG2 0, MedianaGMG 0, (b) "Ganhadores em revocação" Filtro + Método revocação MediaGMG 0, OriginalMOG2 0, GaussianaMOG 0, OriginalKNN 0, Tabela 8 "Ganhadores"vid003 frame650 (a) "Ganhadores em precisão" Filtro + Método precisão MedianaMOG 0, GaussianaKNN 0, MedianaMOG2 0,80073 MedianaGMG 0, (b) "Ganhadores em revocação" Filtro + Método revocação OriginalMOG2 0,85848 GaussianaMOG2 0,85848 OriginalKNN 0,84141 OriginalMOG 0, MediaGMG 0,813326

46

47 45 5 CONCLUSÃO Para o conjunto de testes realizado usando os métodos e os filtros com os parâmetros descritos, é possível visualizar utilizando as tabelas que mesmo a revocação tendo valores altos para os métodos sem o uso de algum filtro, a precisão aponta que os mesmos estão classificando muitos negativos como em movimento (fp). Para três dos quatro testes a utilização dos filtros diminui o número de falsos positivos aumentando a precisão, porém aumentam o número de falsos negativos, pois o filtro suaviza a imagem sendo perdidas algumas informações dela. Contudo, o aumento na precisão é maior comparado com a diminuição da revocação, mostrando que realmente os ruídos afetam na segmentação de modo negativo. O filtro morfológico quase sempre tem valores de revocação e precisão mais baixos comparado com os outros filtros no mesmo método, e os filtros de média e mediana tem os melhores valores de precisão, mas não os melhores de revocação. Observando os gráficos do espaço ROC obtidos é possível observar que o método MOG2 apresenta uma performance mediana ou ruim em todos os testes, o filtro morfológico quase sempre tem menor revocação e maior valor de alarmes falsos, sendo considerado um dos piores filtros com os parâmetros utilizados. Para vídeos com mais elementos com movimentação quase constante, um exemplo seria o vid001, os resultados do espaço ROC obtidos mostram bons valores para o método GMG, caso a utilização do mesmo não tenha problemas com a detecção de áreas maiores do que o objeto em movimento, por apresentar altos valores para revocação, e para MOG, caso não seja necessário todos os objeto em movimento inteiros na segmentação, pois apresenta baixos valores de alarmes falsos. Para o segundo vídeo que tem menor complexidade, todos os métodos apresentam um valor alto para revocação, mas os métodos MOG e KNN têm resultados de alarmes falsos menores que os restantes, sendo então considerados os melhores para vídeos com um ambiente mais estático para monitoramento. O resultado deste trabalho mostra que o ruído nas imagens capturadas pela câmera afetam na qualidade do resultado do método de segmentação e que vídeos com características diferentes podem ter um melhor método para aquele caso, seria possível um trabalho futuro no qual seria feito: uma métrica para avaliar a característica do vídeo, de modo que possa ser feito automaticamente à partir de um vídeo do ambiente a ser monitorado; Realização de testes sobre os parâmetros dos filtros e dos métodos, para então identificar qual é o melhor método e filtro com os melhores parâmetros para cada, dependendo da característica do vídeo dado. Formando assim um selecionador automático de método de subtração de fundo adequado ao ambiente monitorado.