Transcrição

1 Natal RN, 25 a 28 de outubro de 2015 APRIMORAMENTO DO MODELO DE MISTURA DE GAUSSIANAS PARA SEGMENTAÇÃO DE VEÍCULOS UTILIZANDO ABORDAGEM DE LIMIARIZAÇÃO LOCAL Kalyf Abdalla Buzar Lima, Francisco Wender Pereira dos Reis, Kelson Rômulo Teixeira Aires Universidade Federal do Piauí Departamento de Computação Teresina, Piauí, Brasil s: kalyfabdalla@ufpi.edu.br, franciscowenderreis@gmail.com, kelson@ufpi.edu.br Abstract Vehicle segmentation is a non-linear problem that has been tackled by background subtraction. This approach requires a estimation of the background pattern. A popular method to estimate this pattern is the Gaussian Mixture Model. This method is often projected considering a spatial independence for the image s pixels. This modeling approach reduces the computational cost and it increases the performance of the system. The proposed method uses the segmented images to estimate local threshold. These thresholds improve the classification process through the spatial analysis of the classification results. After the segmentation, the outputs are fixed and the threshold are selected to minimize the errors on the next iterations. Keywords Computer vision, gaussian mixtures model, vehicle segmentation. Resumo A segmentação de veículos é um problema não linear que tem sido atacado na literatura com métodos de extração de plano de fundo. Essa abordagem requer uma estimação do padrão de fundo. Uma técnica popular é a estimação por modelos probabilísticos como Mistura de Gaussianas. Esses métodos são adaptativos e o padrão é atualizado constantemente. Em geral, esses métodos são modelados considerando uma independência espacial dos pixels. Essa abordagem facilita a implementação e reduz o custo dos métodos. O método proposto utiliza as imagens segmentadas para estimar limiares locais na classificação. Esses limiares são selecionados através de uma análise da vizinhança do pixel e assim, a segmentação é aprimorada. Após a segmentação, as saídas são corrigidas considerando a descrição da forma das regiões. Os limiares da classificação são selecionados de modo que esses erros sejam minimizados nas próximas iterações do sistema. Palavras-chave Visão computacional, modelo de mistura de gaussianas, segmentação de veículos. 1 Introdução O uso de câmeras como dispositivos de segurança em regiões metropolitanas se tornou frequente na última década. Muitos sistemas para detectar, reconhecer e rastrear veículos nas vias de tráfego são desenvolvidos utilizando esses dispositivos. Uma etapa presente nesses sistemas é a segmentação. O objetivo do processo de segmentação é extrair as regiões da cena que são submetidas ao processo de reconhecimento (Gonzalez and Woods, 2006). Dentre as abordagens utilizadas para segmentar veículos, a subtração de plano de fundo é uma das mais populares. Os veículos são extraídos pela subtração das imagens da cena e o plano de fundo estimado. Métodos adaptativos, como Modelo de Mistura de Gaussianas (GMM-Gaussian Mixture Model), são utilizados para estimar o plano de fundo (Russell and Norvig, 2009). Os problemas de segmentação são frequentemente modelados assumindo uma independência espacial entre os pixels da imagem. Consequentemente, cada pixel possui seu próprio modelo de estimação isolado. A independência simplifica o processo, porém, reduz a acurácia da estimação e dificulta a correção dos erros de classificação. 2 Trabalhos Relacionados Na segmentação por extração de fundo, a abordagem estatística é largamente utilizada por ser capaz de estimar as classes do problema com precisão. O método de Stauffer and Grimson (1999) é um técnica adaptativa GMM que estima o plano de fundo de imagens de forma não-supervisionada. Esse método é popular e é utilizado em muitos sistemas de segmentação (Prati et al., 2003). Enquanto as modelagens paramétricas forçam o modelo a seguir um comportamento específico, as abordagens não-paramétricas são flexíveis e generalizam com mais precisão padrões complexos. Dentre os métodos dessa categoria, o método de Horprasert et al. (1999) é uma abordagem nãoparamétrica que se popularizou na literatura para estimação de plano de fundo. Os métodos de Stauffer and Grimson (1999) e Horprasert et al. (1999) são referenciados em diversos trabalhos envolvendo a segmentação de vídeos (Withagen et al., 2002). Prati et al. (2003) analisaram os resultados de métodos paramétricos e não-paramétricos em segmentações para segmentar vídeos e determinaram suas deficiências. Prati constatou que os métodos paramétricos apresentam melhores resultados na segmentação do primeiro plano. Contudo, concluiu que os nãoparamétricos são melhores para modelar as mu- 1472

2 danças de iluminação da cena. Com base nessa conclusão, Zivkovic (2004) propôs uma abordagem híbrida que combinava os métodos de Stauffer and Grimson (1999) e Horprasert et al. (1999). O método de Zivkovic (2004) apresentou resultados melhores do que o método de Stauffer and Grimson (1999) para segmentação de ambientes externos. Atualmente esse método é largamente utilizado devido a essa melhoria. Isso o levou a ser inserido em bibliotecas de processamento de imagem como OpenCV (Bradski, 2000). Entretanto, esse método ainda apresenta os problemas da abordagem não-paramétrica comprometendo a segmentação dos veículos. Abordagens envolvendo realimentações tem sido utilizadas para aprimorar a estimação do plano de fundo. Nos trabalhos de Kemouche and Aouf (2009) e Luo and Zhu (2010), a realimentação é utilizada para selecionar taxas de atualização que facilitem e restrinjam a incorporação de novos dados ao padrão de fundo. Embora essa abordagem melhore a estimação dos padrões, a deficiência na intersecção das classes persiste nesses modelos. No problema de segmentação de veículos, a probabilidade dos padrões são inconstantes. Eventualmente, padrões do plano de fundo podem ter sido ocasionados por veículos. 3 Sistema proposto Esse trabalho propõe uma abordagem para segmentação de veículos por estimação de fundo com realimentação. Diferentemente de métodos como de Kemouche and Aouf (2009) e Luo and Zhu (2010), a realimentação aprimora a classificação. O esquema do sistema proposto é mostrado na Figura 1. A primeira etapa é a modelagem de plano de fundo, ela é composta por um estimador de fundo e um detector de sombras. Essas fases proveem informações para que a etapa de segmentação agrupe os dados em duas classes: plano de fundo e primeiro plano. A etapa de classificação utiliza as estimações do plano de fundo e o do detector de sombra para produzir imagens, S v, que são binarizadas. Na etapa de filtragem, um filtro de mediana é aplicado para reduzir o ruído segmentado nesse processo. Esse filtro conecta as regiões próximas e reduz a fragmentação dos veículos ocasionada pela similaridade dos padrões. Os contornos das regiões após a filtragem estatística não-linear não descrevem os veículos com eficácia. O fecho convexo, no entanto, é mais representativo. Devido a similaridade das regiões com formas convexas simples, esse descritor permite detectar erros de segmentação e corrigi-los. Como consequência, a etapa de filtragem melhora os resultados que são utilizados para realimentar a classificação. A realimentação estima limiares mais adequados para o classificador e, desse modo, reduzir os erros e aumentar a acurácia do sistema. Este trabalho não foca-se na análise dos resultados após o processo de filtragem, S f. O objetivo do experimento realizado é analisar o impacto da abordagem de realimentação parar reduzir os erros de classificação. Dessa forma, o experimento analisa os resultados da etapa de classificação, S v. Em virtude de Prati et al. (2003) já ter realizado um estudo minucioso dos métodos na literatura, esse trabalho compara o método proposto ao método base, o método de Zivkovic (2004). 3.1 Modelagem do problema No problema de segmentação de veículos, os pixels são classificados em duas classes, BG e F G. Na decisão Bayesiana, a segmentação do primeiro plano é dada como, p( x t BG) < p( x t F G)p(F G), (1) p(bg) onde x t é a informação do pixel, e os estados BG e F G representam o plano de fundo e primeiro plano, respectivamente. 3.2 Estimação do plano de fundo A probabilidade a posteriori p( x t BG) é estimada através método GMM tal como descrito em Zivkovic (2004). A distribuição p( x t F G) é constante ao longo do tempo. Contudo, a abordagem proposta inclui a probabilidade dos estados condicionada ao estado anterior, um modelo de Markov de primeira ordem (Markov, 1971). O processo de classificação permanece espacialmente independente. Porém o processo de filtragem realiza todas as correções e estimações espaciais necessárias. 3.3 Segmentação Figura 1: Esquema do sistema proposto. A decisão Bayesiana que classifica os estados, assim como no método de Zivkovic (2004), utiliza 1473

3 a distância Mahalanobis para reduzir a complexidade da comparação entre os modelos estatísticos (Mahalanobis, 1936). O limiar c thr fixo que separa as classes nesse método é substituído por um limiar dinâmico d thr proporcional à probabilidade do plano de fundo no modelo de Markov. A segmentação realizada pelo classificador para o pixel x t utiliza os métodos de Stauffer and Grimson (1999) e Horprasert et al. (1999). Essa segmentação é descrita como, F G, if d( x t, µ, σ ) > d thr and C(i) = (CD i > τ CD or β i < τ lo ) BG, otherwise, (2) onde CD i e β i são as distorções de crominância e luminância estimadas pelo método de Horprasert. Os valores dos limiares τ CD e τ lo são constantes, esses valores são os mesmos utilizados por Zivkovic em seus experimentos. Os parâmetros µ e σ, por sua vez, são as estimações do método GMM. Pela decomposição da função de probabilidade do modelo de fundo em múltiplas gaussianas, somente a distribuição mais próxima, cujo os parâmetros são µ e σ, é utilizada pelo classificador. O limiar d thr, que é determinado pela etapa de realimentação, é utilizado para melhorar a segmentação dos veículos. 3.4 Filtragem A classificação, que é realizada pela função C(i), resulta em uma imagem segmentada S v. Essa imagem segmentada possui erros de segmentação que podem ser suavizados por técnicas de filtragem. Essa etapa do sistema tem por objetivo corrigir esses erros para que a realimentação forneça informações precisas sobre o estado do pixel. Essa etapa é dividida em quatro fases, dessa forma, cada técnica aplicada possui objetivos específicos nessa etapa. A primeira fase é a filtragem estatística nãolinear da segmentação. O filtro de mediana, similar ao filtros de erosão e dilatação, são utilizados para eliminar ruídos e conectar regiões (Gonzalez and Woods, 2006). Esses ruídos são causados por falhas no processo de aquisição da imagem. Enquanto, a fragmentação é causada pela similaridade dos padrões das duas classes do problema. O filtro de mediana é utilizado devido ao custo computacional menor para otimizar o sistema. Apesar das correções da fase anterior, muitos veículos com cores similares a da via de tráfego ainda apresentam erros de segmentação que dificultam a seleção de um limiar eficaz. Para corrigir os erros dessas regiões são utilizadas duas técnicas para descrição de regiões por meio contornos, os métodos de Suzuki and Abe (1985) e Sklansky (1982). O método de Suzuki and Abe (1985) é um popular detector de contornos na literatura. Ele é utilizado na segunda fase da filtragem para descrever as regiões segmentadas. Esse detector organiza os contornos de forma hierárquica, dessa forma, as cavidades internas nas regiões dos veículos são identificadas e incorporadas ao primeiro plano. As cavidades ao longo da borda do contorno, no entanto, permanecem. Esses erros são reparados através da estimação do fecho convexo das regiões segmentadas. Na terceira fase da filtragem, os contornos são analisados e alguns são selecionados para a próxima fase. Em virtude do sistema proposto ser uma solução de baixo custo, no experimento realizado foi utilizada uma heurística simples para limitar a área mínima e eliminar microrregiões isoladas. A eliminação das cavidades internas é realizada pela seleção dos contornos mais externos de cada região segmentada. O fecho convexo dos contornos mais externos e r são estimados na quarta fase do processo de filtragem. Os contornos são simplificados pelo método de Sklansky (1982), essa operação, definida como hull(e r ), resulta em uma descrição mais flexível dos veículos da cena. Através dessa técnica, o sistema detecta erros na classificação do primeiro plano e os corrige. A etapa de realimentação utiliza o resultado corrigido, S f, para aprimorar a processo de segmentação. 3.5 Estimação de limiar Como descrito na Seção 3.3, O limiar d thr classifica os dados nos estados BG e F G. Esse limiar é proporcional a probabilidade do estado do plano de fundo e estimado por modelo de Markov. Esse modelo é descrito pela probabilidade p(x t X t 1 ), de modo que, X é a variável aleatória do estado e pode assumir os valores BG e F G. A abordagem utiliza uma matriz de transição constante no modelo de Markov. Essa matriz é definida baseada em duas regras. A primeira regra, p(f G F G) > p(bg F G), aprimora a segmentação de regiões previamente segmentadas. Como consequência, o sistema induz a segmentação das regiões com mudanças na cena. Enquanto isso, a regra p(f G BG) = p(bg BG) permite que o classificador continue segmentando novas informações normalmente. Essas regras da matriz de transição induzem a segmentação nas regiões corrigidas pelo método de Suzuki and Abe (1985) e Sklansky (1982). O modelo de transição é convertido para a unidade da distância Mahalanobis, assim, surge o limiar d thr. Esse limiar assume valores menores para induzir a segmentação e maiores para estabilizar a segmentação. A estimação do limiar é feita pela seleção entre dois valores possíveis. Esses limiares segue as regras do modelo de Markov descrito nesta Seção. 1474

4 O limiar d thr é estimado como: d thr = { l1, se X t 1 = BG l 2, se X t 1 = F G, (3) onde X t 1 é o estado do pixel após a etapa de filtragem. Os limiares l 1 e l 2 são valores constantes que seguem a regra l 2 l 1. A Equação 3 seleciona o valor l 1, chamado limiar inicial, quando não há nenhuma informação sobre a cena ou quando a classificação definiu o estado do pixel como BG. O limiar inicial l 1 deve equilibrar o comportamento do classificador. Sua função é permitir que o sistema atualize suas distribuições e segmente as regiões de primeiro plano normalmente. O valor l 2, chamado de limiar restritivo, é utilizado para aprimorar a segmentação do primeiro plano. Ele restringe a atualização e entrada dos dados nas distribuições de plano de fundo. A limitação l 2 l 1 impede que o comportamento do sistema fique oposto ao desejado. No caso l 2 = l 1, ambos os métodos apresentam comportamento igual. Por esse motivo, é conveniente limitar os valores para l 2 < l 1. É importante enfatizar que o limiar restritivo l 2 não é utilizado nas regiões com erros de segmentação removidas na etapa de filtragem. Portanto, não há aumento de erros nessas regiões e o sistema se comporta de forma semelhante ao método de Zivkovic. 4 Base de dados A base de dado atual é composta por vídeos gravados utilizando uma câmera Canon T5i. Esse dispositivo foi configurado para fornecer imagens com resolução 640x480 pixels e 30 fps (frames per second). Entretanto, a resolução das imagens é reduzida para 320x240 pixels. Essa restrição tem como propósito, aumentar o desempenho do sistema e, por conseguinte, reduzir o erro causado pelo descarte de métodos de rastreamento. Além da aquisição de bases de dados, é preciso determinar a saída esperada para as imagens da cena. Essa tarefa é executada manualmente por um especialista que determina a saída para todos os pixels. Devido ao número excessivo de saídas, essa tarefa se torna inviável. A comparação dos métodos é, portanto, limitada à uma amostra do conjunto de imagens. A diferença nos resultados dos métodos tradicionais e o método proposto situa-se nas regiões de primeiro plano. A amostragem concentra-se nessas regiões onde as saídas diferem. O conjunto de testes criado nessa fase compõe 107 regiões. Juntas, essas regiões totalizam aproximadamente 10 5 pixels. A saída esperada dessas regiões, chamada ground truth, é designada por um especialista, manualmente. 5 Experimento O sistema foi testado em um vídeo de tráfego de veículos gravado em um dia ensolarado com presença de nuvens. As nuvens causam mudanças de iluminação na cena e assim, o sistema é testado em condições de mudanças de iluminação. Nesse experimento, o sistema deve ser capaz de detectar as variações e segmentar os veículos com boa acurácia. O limiar de classificação foi submetido a diversos valores do intervalo [0.8,7.0] para determinar o comportamento do método proposto e testes similares foram executados no método de Zivkovic. Os resultados são comparados para determinar a eficácia da abordagem proposta. Ambos os métodos segmentam os veículos com boa acurácia, contudo, o método de Zivkovic apresentou falhas na segmentação quando os veículos são similares à via de tráfego. Isso dificulta a detecção desses veículos pois as áreas que apresentam a similaridade, como para-brisas e detalhes estéticos, não são segmentadas e ocorre a fragmentação da região. A correta segmentação de todas essas regiões é fundamental para que etapa de filtragem forneça uma boa descrição dos veículos. A diferença entre os dois métodos ocorre nas regiões onde os limiares são alterados. Essas áreas são as mesmas regiões onde estão localizados os veículos e outras mudanças da cena. Desse modo, a abordagem não resulta em segmentações do plano de fundo. O método proposto reduz a fragmentação dos veículos, contudo, não se foi observada e analisada nenhuma situação de oclusão. Assim, não é conhecido o comportamento do método nessa situação específica. As saídas são avaliadas pelas taxas de sensibilidade, especificidade e acurácia. O comportamento da acurácia pode ser observado na Figura 2. O limiar restritivo l 2 possui grande influência sobre a acurácia. Em valores baixos, a menor mudança no ambiente é segmentada. Essas regiões recebem um reforço na próxima iteração do método reforçando o ciclo de segmentação. Figura 2: Taxa de acurácia do método proposto A medida que o limiar inicial l 1 cresce, a acurácia do método aumenta. Enquanto isso, o limiar restritivo atinge sua melhor eficácia no intervalo 1475

5 [1.2, 2.0]. A acurácia decresce suavemente com valores acima desse intervalo. O comportamento da acurácia é melhor justificado analisando as taxas de sensibilidade e especificidade. Essas taxas podem ser observadas nas Figuras 3 e 4. Figura 5: Taxa de sensibilidade do método de Zivkovic Figura 3: Taxa de sensibilidade do método proposto Figura 6: Taxa de especificidade do método de Zivkovic Figura 4: Taxa de especificidade do método proposto Quando os limiares l 1 e l 2 assumem valores baixos, os dados são classificados como primeiro plano. Nesse caso, a sensibilidade apresenta valores altos, enquanto a especificidade apresenta valores baixos. Como a quantidade de dados de cada classe é desbalanceada, a acurácia apresenta valores abaixo de 40% de acerto nesse caso. A especificidade se estabiliza quando os limiares passam a ter valores l 2 > 2.0 e l 1 > 3.0. Entretanto, a taxa de sensibilidade continua caindo de forma abrupta. A acurácia decresce suavemente devido a quantidade de dados de primeiro plano ser menor do que de plano de fundo. Assim como o método proposto, o método de Zivkovic foi avaliado através das taxas de sensibilidade, especificidade e acurácia. As taxas de sensibilidade e especificidade podem ser vistas nas Figuras 5 e 6. Enquanto no método proposto as taxas de sensibilidade e especificidade decaem e crescem de forma abrupta, essas taxas variam de forma suave. Considerando a estabilidade nos resultados da sensibilidade, o comportamento observado permite que o modelo de Zivkovic não exija um ajuste muito profundo no parâmetro c thr. Contudo, a curva da especificidade indica que o método não consegue separar as classes do problema com eficácia em algumas situações. Devido a taxa especificidade modesta, o método de Zivkovic apresenta uma acurácia menor. A acurácia pode ser observada na Figura 7. Diferentemente do modelo proposto, a taxa não apresentou declínio abrupto e se estabilizou. A melhor acurácia encontrada nos testes foi % para o método de Zivkovic e % para o método proposto. De forma geral, o método proposto se mostrou superior ao método de Zivkovic para o problema da segmentação de veículos. Isso acontece porque a sensibilidade do modelo atinge um ótimo local em um intervalo de valores com especificidade melhor do que a do método base. Figura 7: Taxa de acurácia do método de Zivkovic 1476

6 6 Conclusão e Trabalhos Futuros A abordagem apresentada que realiza uma realimentação para aprimorar a classificação apresentou bons resultados. O método proposto obteve uma acurácia melhor do que a apresentada pelo método de Zivkovic. As regiões, onde foram observadas as melhorias, são as regiões onde a similaridade dos padrões interferia precisão dos resultados. O processo de segmentação foi aprimorado para as regiões de primeiro plano. Entretanto, as mudanças de iluminação ainda interferem na classificação dos pixels. Eventualmente, essas regiões podem ser segmentadas e a abordagem proposta propaga esse erro para a próxima iteração. Apesar do sistema proposto ter sido focado na segmentação de veículos, a abordagem utilizada pode ser utilizada para outras situações. No entanto, em situações onde o movimento é significante, o rastreamento é necessário. Também é importante ressalvar que os objetos devem ser similares a polígonos convexos. Caso contrário, a etapa de filtragem deve ser remodelada. A etapa de filtragem impacta diretamente na acurácia e desempenho do sistema. Métodos mais robustos resultam em classificações eficazes, contudo, menos viáveis em sistemas on-line. A abordagem não possui rastreamento, consequentemente, o custo do processo de filtragem deve ser reduzido. Esse sistema utiliza apenas dois limiares para aprimorar a segmentação. Esses limiares são selecionados pela observação da última segmentação realizada. Uma variação que pode ser testada é a estimação de um limiar em um intervalo. A realimentação, nesse caso, é estimada por observação do histórico das segmentações. A acurácia do sistema, apesar de superior ao do método de Zivkovic, ainda deve ser melhorada. A sensitividade do sistema no melhor resultado é aproximadamente 90%. Esses erros de segmentação prejudicam a eficácia de processos cognitivos em sistemas que possuem classificação de veículos. Referências Bradski, G. (2000). The OpenCV Library, Dr. Dobb s Journal of Software Tools. Gonzalez, R. C. and Woods, R. E. (2006). Digital Image Processing (3rd Edition), Prentice- Hall, Inc., Upper Saddle River, NJ, USA. Horprasert, T., Harwood, D. and Davis, L. S. (1999). A statistical approach for real-time robust background subtraction and shadow detection,, pp Kemouche, M. and Aouf, N. (2009). A gaussian mixture based optical flow modeling for object detection, Crime Detection and Prevention (ICDP 2009), 3rd International Conference on, pp Luo, J. and Zhu, J. (2010). Adaptive gaussian mixture model based on feedback mechanism, Computer Design and Applications (ICCDA), 2010 International Conference on, Vol. 2, pp. V2 177 V Mahalanobis, P. C. (1936). On the generalised distance in statistics, Proceedings National Institute of Science, India, Vol. 2, pp Markov, A. (1971). Extension of the Limit Theorems of Probability Theory to a Sum of Variables Connected in a Chain, in R. Howard (ed.), Dynamic Probabilistic Systems (Volume I: Markov Models), John Wiley & Sons, Inc., New York City, chapter Appendix B, pp Prati, A., Mikić, I., Trivedi, M. M. and Cucchiara, R. (2003). Detecting moving shadows: Formulation, algorithms and evaluation, IEEE Transactions on Pattern Analysis and Machine Intelligence 25: Russell, S. J. and Norvig, P. (2009). Artificial Intelligence: A Modern Approach, 3rd edn, Prentice Hall. Sklansky, J. (1982). Finding the convex hull of a simple polygon, Pattern Recogn. Lett. 1(2): Stauffer, C. and Grimson, W. (1999). Adaptive background mixture models for realtime tracking, Computer Vision and Pattern Recognition, IEEE Computer Society Conference on., Vol. 2, pp. 252 Vol. 2. Suzuki, S. and Abe, K. (1985). Topological structural analysis of digitized binary images by border following., Computer Vision, Graphics, and Image Processing 30(1): Withagen, P., Schutte, K. and Groen, F. (2002). Likelihood-based object detection and object tracking using color histograms and em, Image Processing Proceedings International Conference on, Vol. 1, pp. I 589 I 592 vol.1. Zivkovic, Z. (2004). Improved adaptive gaussian mixture model for background subtraction, Pattern Recognition, ICPR Proceedings of the 17th International Conference on, Vol. 2, pp Vol