Aplicação de Histograma de Gradientes Orientados para detecção de hidrômetros em imagens de fundo complexo Juliana Patrícia Detroz Professor: André Tavares da Silva Universidade do Estado de Santa Catarina (UDESC) Departamento de Ciência da Computação Mestrado em Computação Aplicada Joinville, SC - Brasil
Roteiro Introdução Objetivo Trabalhos relacionados Revisão da literatura Metodologia Resultados Conclusão Referências UDESC-MCA - TEPG - Reconhecimento de Padrões 2 / 16
Introdução Problema: Detectar fraude em hidrômetros Desafios 2 etapas: Detecção do hidrômetro e detecção da fraude Base de imagens: Imagens de fiscalização obtidas através do sistema comercial da Companhia Águas de Joinville Fotos com fundo complexo e heterogêneo Fotos tiradas de ângulos e escalas diversas: dificulta reconhecimento da forma do objeto Oclusão Imagem cortada Fraude pode ser caracterizada de diversas formas: Ausência de lacres Lacres rompidos Cavalete invertido UDESC-MCA - TEPG - Reconhecimento de Padrões 3 / 16
Introdução Importância: otimizar detecção de fraudes Fiscalizações: minimizar necessidade de deslocamento para fiscalizações, reduzindo custos e reaproveitando deslocamento já realizado para leitura Obtenção imagens: leitura realizada todos os meses em todas unidades. Tirar foto de todos os hidrômetros mensalmente. Identifica fraude, sem necessidade do leiturista conhecer todas os tipos de fraude existentes Objetivo: Realizar a detecção de hidrômetros em imagens através da extração de características utilizando o descritor Histograma de Gradientes Orientados e de um classificador do tipo SVM. UDESC-MCA - TEPG - Reconhecimento de Padrões 4 / 16
Trabalhos relacionados Hu et al (2012): Detecção de elipses concêntricas Aplicação: Detecção de relógio de hidrômetros Figura 1 Aplicação do método proposto por Hu et al (2012) Deruyver e Hodé (2013): Reconhecimento de objetos com forma geométrica específica (círculos, arcos) através de grafos de restrições. Segmentação através de Watershed. Aplicação: identificação de hidrômetro, detectando o tipo (analógico/digital), se está quebrado e realizando leitura automática. Figura 2 Aplicação do método proposto por Deruyver e Hodé (2013) Ambos: Imagens comportada: posição fixa, apenas o relógio do hidrômetro. UDESC-MCA - TEPG - Reconhecimento de Padrões 5 / 16
Trabalhos relacionados Zhang e Li (2009), Sablantnig (1996), Shu et al (2007): leitura automatizada de hidrômetros e medidores Utilizando processamento morfológico de imagens Figura 3 Aplicação do método proposto por Zhang e Li (2009) Overett e Petersson (2011): detecção de objetos - sinais de trânsito. Aplicação de Histograma de gradientes orientados (HOG) Figura 4 Aplicação do método proposto por Overett e Petersson (2011) UDESC-MCA - TEPG - Reconhecimento de Padrões 6 / 16
Revisão da literatura Histograma de gradientes orientados (DALAL e TRIGGS, 2005) Descritor de características Divisão da imagem em um grid composto por: células de 8x8 pixels Células agrupadas em blocos de 2x2 células Possibilidade de sobreposição Figura 5 Descritor HOG. Fonte: Cheng et al (2012) Janela de detecção 64x128: percorre a imagem e calcula histograma célula a célula Normalização: minimizar variação de luminosidade e contraste Figura 6 Contornos obtidos a partir do descritor HOG. Fonte: Dalal e Triggs (2005) UDESC-MCA - TEPG - Reconhecimento de Padrões 7 / 16
Revisão da literatura Support Vector Machine (BOSER, GUYON e VAPNIK, 1992) Método de aprendizado de máquina para classificação de problemas binários Mapeamento de vetores não lineares para espaço de características de maior dimensão Encontra hiperplano que separe amostras das 2 classes, maximizando margem entre vetores de suporte e limite de decisão Vetores de suporte: exemplos de treinamento mais próximos do limite de decisão Método de kernel: linear, gaussiano, polinomial Parametrização: Linear: C = suavização de margem Gaussiano: C e γ (largura da gaussiana) Geralmente inicia-se com o linear UDESC-MCA - TEPG - Reconhecimento de Padrões 8 / 16
Metodologia OpenCV: Biblioteca open source para visão computacional Solução proposta Figura 7 Diagrama do método de detecção de hidrômetros proposto. Fonte: do próprio autor UDESC-MCA - TEPG - Reconhecimento de Padrões 9 / 16
Metodologia Conjunto de treinamento: 128 x 80 105 imagens positivas: hidrômetros 105 imagens negativas: recortes de fundos de imagens (16 obtidas por hard training) Espelhamento Extração de características: vetores de 4860 valores Figura 8 Exemplo de amostra de treinamento e aplicação HOG. Fonte: do próprio autor UDESC-MCA - TEPG - Reconhecimento de Padrões 10 / 16
Metodologia SVM: SVM-light Linear: C = 0,4 Gaussiano: C = 0,15 e γ = 0,045 Validação cruzada: Leave-one-out Conjunto de validação: Validação: 125 imagens 480 x 640 com escala, rotação diversas e oclusão Marcação manual da região do hidrômetro Comparação da área detectada e do retângulo marcado Métrica de avaliação: TP: hidrômetro detectado (total ou parcial) >= 70% FP: fundo detectado como hidrômetro < 70% FN: hidrômetro não detectado = sem intersecção Uma imagem pode ser classificada como TP e FP simultaneamente UDESC-MCA - TEPG - Reconhecimento de Padrões 11 / 16
Resultados Tabela 1 Comparação de resultados obtidos no treinamento por SVM linear e gaussiano Linear Gaussiano Número de vetores de suporte 219 404 Estimativa de erro 46,65% 24,16% Estimativa de revocação 60,10% 96,15% Estimativa de precisão 52,74% 68,26% Estimativa de Erro após leave-one-out 7,18% 17,94% Estimativa de revocação após leave-one-out 89,42% 100% Estimativa de precisão após leave-one-out 95,88% 73,50% Hidrômetros detectados (TP) 113 119 Hidrômetros não detectados (FN) 10 4 Fundos detectados como hidrômetros (FP) 61 68 UDESC-MCA - TEPG - Reconhecimento de Padrões 12 / 16
Resultados Figura 9 Detecção de hidrômetros utilizando HOG e SVM. Fonte: do próprio autor UDESC-MCA - TEPG - Reconhecimento de Padrões 13 / 16
Conclusão A solução proposta possibilitou realizar a detecção hidrômetros em imagens de fundos complexos Para o problema e conjunto de imagens utilizados nesta pesquisa não houve variação significativo nos resultados obtidos no treinamento por SVM com kernel gaussiano e linear Porém, pretende-se ampliar o número de amostras de treinamento, desta forma, a aplicação do kernel gaussiano tende ser uma solução mais apropriada Como trabalhos futuros, pretende-se implementar classificadores para detecção de fraudes e combiná-los ao classificador proposto. UDESC-MCA - TEPG - Reconhecimento de Padrões 14 / 16
Referências BOSER, B. E.; GUYON, I. M.; VAPNIK, V. N. (1992) A training algorithm for optimal margin classifiers. In Proceedings of the fifth annual workshop on computational learning theory, pg. 144-152. CHENG, H.; ZENG, Y.; LEE, C.; HSU, S. (2012) Segmentation of pedestrians with confidence level computation. Journal of signal processing systems, vol. 72, n. 2, pg. 87-97. DALAL, N.; TRIGGS, B. (2005) Histograms of oriented gradients for human detection. In Computer Vision and Pattern Recognition, IEEE Computer Society Conference on, vol. 1, pp. 886-893, ACM. DERUYVER, A.; HODÉ, Y. (2013) Shape recognition as a constraint satisfaction problem. In Graphbased Representations in Pattern Recognition, pg. 214-223. HU, B.; ZENG, X.; HUANG, L. (2012) Detection of concentric ellipses with the same orientation. In Fourth International Conference on Digital Imagem Processing, International Society for Optics and Photonics, pg. 83340Z-83340Z OVERETT, G.; PETERSSON, L. (2011) Large scale sign detection using HOG feature variants. In Intelligent vehicles symposium, pg. 326-331, IEEE. ZHANG, Z; LI, Y. (2009) Research on the pre-processing method of automatic reading water meter system. In International Conference on Artificial Intelligence and Computational Intelligence, vol. 3, pg. 549-553. UDESC-MCA - TEPG - Reconhecimento de Padrões 15 / 16
Aplicação de Histograma de Gradientes Orientados para detecção de hidrômetros em imagens de fundo complexo Juliana Patrícia Detroz Professor: André Tavares da Silva Universidade do Estado de Santa Catarina (UDESC) Departamento de Ciência da Computação Mestrado em Computação Aplicada Joinville, SC - Brasil