Análise do Uso de Descritores Locais e Classificadores no Reconhecimento de Cédulas de Real

Transcrição

1 III Escola Regional de Informática do Piauí. Livro Anais - Artigos e Minicursos, v. 1, n. 1, p , jun, ISBN: Análise do Uso de Descritores Locais e Classificadores no Reconhecimento de Cédulas de Real Leonardo P. Sousa 1, Rodrigo M. S. Veras 1, Maíla L. Claro 1 1 Universidade Federal do Piauí (UFPI) - Campus Ministro Petrônio Portella Centro de Ciências da Natureza (CCN) - Departamento de Computação Teresina - PI - Brazil {leonardosousa,rveras}@ufpi.edu.br, claromaila@gmail.com Abstract. Recognition of Banknotes, to assist the visually impaired, is a challenging task in the computational view that involves the steps of image acquisition, feature extraction, and classification. The feature extraction is related to the accuracy and speed in training and classification. It is a classification seek ways to validate the information generated by the descriptors. This work presents a comparative of the descriptors: SURF, MSER, BRISK and FAST, using a base of images containing 336 images of Real currency banknotes. The results were tested using the MLP, SVM-SMO and RBF Network classifiers. For the evaluation, true positives, true negatives and precision measurements were taken. Resumo. O reconhecimento de cédulas bancárias, para auxiliar deficientes visuais, é uma tarefa desafiadora na visão computacional que envolve as etapas: aquisição de imagens, extração de características e classificação. A extração de características está relacionada com a acurácia e a velocidade de treinamento e classificação. Já a classificação irá validar as informações geradas pelos descritores. Este trabalho apresenta um comparativo dos descritores: SURF, MSER, BRISK e FAST, utilizando uma base de imagens contendo 336 imagens de cédulas de Real. Os resultados foram testados utilizando os classificadores: MLP, SVM-SMO e RBF Network. Para a avaliação foram extraídas as medidas de precisão, verdadeiros positivos e verdadeiros negativos. 1. Introdução Com o surgimento de novas tecnologias, houve o aumento de mecanismos para oferecer acessibilidade e inclusão à indivíduos com deficiência, visando proporcionar alguns benefícios, como maior independência e qualidade de vida. A deficiência visual compromete a visualização e identificação de objetos. Segundo o censo do Instituto Brasileiro de Geografia e Estatística (IBGE) de 2010 havia no Brasil uma população de mais de 45,6 milhões com algum tipo de deficiência. Dentre o número de deficientes, há cerca de 35,8 milhões de pessoas com dificuldade para enxergar, sendo que, 506,3 mil se declararam totalmente cegos [Teixeira et al. 2015]. O reconhecimento de padrões em imagens deriva-se de diversas fases: a aquisição é a primeira ação a ser realizada. Após, em alguns casos é necessária a realização de um pré-processamento, de forma a amenizar imperfeições na imagem ou modificar algum elemento para ser analisado. Em seguida é utilizado um detector de pontos chaves, que

2 consiste em buscar Pontos de Interesse (Points of Interest - PoI) na imagem. Na sequencia, é utilizado um descritor, para gerar valores que possam descrever os PoI. Após a definição dos descritores, estes, devem ser utilizados em métodos de classificação e agrupamento de características. Esses métodos necessitam de dados identificados (informando a que classe pertence), para que seja realizado o aprendizado, a partir das características disponibilizadas. Na sequencia, é obtido um modelo de treinamento genérico capaz de identificar novos objetos, com base no aprendizado adquirido. Na escolha dos classificadores há a necessidade de analisar e testar, buscando-se obter os melhores resultados na classificação. Nesse artigo, é apresentado uma análise da combinação entre os descritores (SURF, MSER, BRISK e FAST) e classificadores (SVM-SMO, MLP e RBF), contidos nas literaturas, sendo utilizados no reconhecimento de cédulas de real. 2. Trabalhos Relacionados No trabalho de [Hasanuzzaman et al. 2012], é proposto uma abordagem para reconhecimento de cédulas usando recursos SURF (Speeded Up Robust Features). Para a geração do componentes foi realizado cortes manual de vários pontos de referência em cada cédula monetária (frente e verso), montando uma base de dados para comparação com as imagens a serem testadas. Nos testes foram utilizados 140 imagens de cédulas bancárias de dólar americano. Em [Teixeira et al. 2015], propuseram um aplicativo para reconhecimento de cédulas, empregando o algoritmo SURF, para a identificação dos PoI e descritores. Para a classificação é utilizado o classificador Support Vector Machines - Sequential Minimal Optimization (SVM-SMO). Nos testes foram utilizados 1440 imagens digitais. Na pesquisa de [Costa et al. 2016], desenvolveram uma aplicação para o reconhecimento de cédulas monetárias de Euro, utilizando os detectores: SIFT, SURF, GFTT, FAST, ORB, BRISK, STAR e MSER. E os descritores: SIFT, SURF, FREAK, BRIEF, ORB, BRISK. A classificação pode ser realizada usando uma força bruta ou uma abordagem heurística. O sistema foi testado com 80 imagens de teste. 3. Materiais e Métodos 3.1. Descritores São algoritmos que descrevem o conteúdo de imagens e as representam por vetores de características. Speed-Up Robust Features - SURF: O algoritmo proposto por Herbert [Bay et al. 2008] é inspirado no SIFT, mas com a intenção de ser mais rápido na obtenção e verificação de características. Esse algoritmo realiza a localização dos PoI, em seguida gera um vetor de características. Como essas informações foram extraídas com base na orientação, o mesmo padrão permanece se a imagem for rotacionada, sendo possível identificar a imagem mesmo que seja mudada sua orientação. Maximally Stable External Regions - MSER: A metodologia proposta por Chum [Matas et al. 2004] propõe o desenvolvimento de um método robusto diante de mudanças de perspectiva. O algoritmo localiza PoI extremos na imagem, buscando identificar

3 regiões conexas da imagem a partir da intensidade do brilho. Detecta regiões de borda com uma grande variação de intensidade. Binary Robust Invariant Scalable Keypoints - BRISK: Baseia-se em uma amostra circular facilmente configurável, que a partir da qual, ele calcula as comparações de brilho para formar uma cadeia de descritor binário [Leutenegger et al. 2011]. Esse método leva em consideração a rotação de um PoI. Features from Accelerated Segment Test - FAST: É um método de detecção de cantos proposto com o objetivo de identificar PoI em imagens. Não possui informações sobre a orientação dos descritores e é altamente sensível a ruídos [Pass et al. 1997] Classificadores Após a extração dos PoI e dos descritores é necessário classificá-los, ou seja, identificar as imagens analisando os atributos definidos pelos descritores. Support Vector Machine - SVM: É um algoritmo de aprendizagem supervisionado para análise de dados e reconhecimento de padrões. Segundo Eduardo [Kinto 2011], é uma máquina de aprendizado que identifica algumas amostras de teste, separando-os em dois grupos. Este recebe como entrada um conjunto de dados e analisa essa informação, definindo para qual classe conjunto de dados pertence. Sequencial Minimal Optimization - SMO: É um algoritmo que resolve rapidamente o problema de programação quadrática SVM, sem qualquer armazenamento extra de matrix [Platt 1999]. O SMO divide grandes problemas em séries de pequenos problemas possíveis, que são resolvidos analiticamente. Multilayer Perceptron - MLP: De acordo com [Ludermir et al. 2000], possui uma ou mais camadas possibilitando a separação das classes de forma não linear. Os principais componentes são: camada de entrada, responsável por receber os dados; camada oculta, composta por uma ou mais camadas com um ou mais nós, sendo efetuado o processamento através de uma função de ativação e; camada de saída, recebe as informações das camadas intermediárias e fornece a resposta. Radial Basis Function - RBF: Consiste em um modelo de rede neural, capaz de aprender padrões complexos. Segundo [Musavi et al. 1992], a ideia é projetar uma rede com boa capacidade de generalização e um número mínimo de nós para evitar cálculos desnecessariamente longos, em oposição a redes perceptron multicamadas. 4. Experimentos A base de imagens utilizada neste trabalho é constituída de 336 imagens digitais. As imagens da cédula inteira (frente e verso) foram adquiridas na webpage do Banco Central do Brasil. Para a realização dos testes, foram utilizadas: imagens de frente e verso, variando a posição: horizontal, vertical, rotação em 90 o graus a direita e a esquerda e rotação a 180 o graus, totalizando 8 imagens de cada valor de notas, formando uma base com 48 imagens. Em aplicativos reais dificilmente é analisado toda a cédula(pode existir oclusões), sendo incluso na base de testes: notas em 2 partes e em 4 partes, conforme ilustrada na Figura 1, formando 56 imagens de cada classe.

4 Figura 1. Cédula inteira (a), 1/2 da cédula (b) e 1/4 da cédula(c). Para incrementar as ações de processamento de imagem e testes dos descritores juntamente com os classificadores, foram montadas mais 2 bases de imagens: uma onde foi aplicado o filtro da média, com janela de tamanho [5 5], simulando uma imagem borrada das cédulas e uma onde foi inserido o ruído Salt & Pepper na proporção de 0,05, simulando variação de iluminação e desgaste pelo uso Metodologia de Avaliação Para extração dos PoI, foi utilizado o programa MATLAB. Sendo que para cada imagem é gerado uma matriz de atributos, mas para o trabalho proposto, deve-se possuir somente um vetor de dados para referenciar a classe. Nesse caso, foi calculado a média dos valores, ficando armazenado somente um vetor com 64 elementos para cada imagem. Concluindo o vetor de atributos, foi inserido mais um valor fazendo referência a qual classe os dados obtidos pertencem. Juntamente com a matriz de atributos, foi criado um arquivo (com extensão.arrf), a ser analisado pelo software WEKA, onde será realizada a classificação dos dados. Neste trabalho foram analisados os dados gerados pelos descritores, utilizando o método de classificação (n-fold cross validation sendo selecionado o valor n = 10). Dessa forma utiliza-se 90% dos dados para treinamento e o restante, 10%, para etapa de teste. Nessa etapa foi executado cada arquivo gerado pelos descritores nos 3 classificadores escolhidos Resultados Após a execução dos testes, foram utilizados para representação dos resultados, os seguintes parâmetros: Taxa de Verdadeiros Positivos (TPR), que mede a quantidade de acertos; Taxa de Falsos Positivos (FPR), quantidade de erros de classificação e Precisão (P), que ilustra a proporção de casos que são verdadeiramente de uma classe dividido pelo total de casos classificados como essa classe. Para a validação dos dados armazenados, foi gerada a Tabela 1, que mostra a média da análise de todas as classes de notas, ou seja, foi realizada a média dos resultados de todas as classes de cédulas, facilitando-se assim o entendimento. Com relação a taxa de verdadeiros positivos, verifica-se que a junção do descritor SURF com o classificador MLP proporcionou melhores resultados, alcançando um desempenho superior a 0,979. Para os falsos positivos, percebe-se que a combinação que obteve um maior índice de erros de classificação foi o descritor BRISK com o classificador RBF, obtendo um índice superior a 0,121.

5 Tabela 1. Resultado da análise, com cédulas em boa qualidade. SVM MLP RBF TPR FPR P TPR FPR P TPR FPR fp SURF 0,917 0,017 0,92 0,979 0,004 0,979 0,827 0,035 0,834 MSER 0,896 0,021 0,895 0,949 0,01 0,949 0,783 0,043 0,79 BRISK 0,5 0,1 0,515 0,5 0,1 0,496 0,393 0,121 0,393 FAST 0,762 0,048 0,766 0,932 0,014 0,932 0,625 0,075 0,634 Ainda na seção resultados, a Tabela 2, ilustra os valores obtidos utilizando uma base de imagens, aplicada o filtro da média. A junção do descritor SURF com o classificador MLP, obtiveram ótimos resultados, com um índice de 0,914. Na quantidade de erros de classificação, percebe-se que a combinação do descritor BRISK com o classificador RBF, permaneceu como a junção que obteve o pior resultado, obtendo um índice superior a 0,121. Tabela 2. Resultado da análise, com cédulas borradas. SVM MLP RBF TPR FPR P TPR FPR P TPR FPR P SURF 0,818 0,036 0,822 0,914 0,017 0,914 0,702 0,06 0,71 MSER 0,827 0,035 0,83 0,878 0,024 0,879 0,685 0,063 0,701 BRISK 0,464 0,107 0,454 0,604 0,079 0,605 0,393 0,121 0,376 FAST 0,771 0,046 0,782 0,866 0,027 0,871 0,56 0,088 0,559 Finalizando os testes com as imagens, foi analisado os resultados obtidos com a base de imagens com ruído, a Tabela 3, ilustra os valores obtidos após os processos de classificação. A combinação que alcançou um melhor resultado foi a junção do descritor MSER e o classificador MLP, obtendo um índice de 0,807. Mas é um índice que representa baixa acurácia. Tabela 3. Resultado da análise, com cédulas ruidosas SVM MLP RBF TP FP PREC TP FP PREC TP FP PREC SURF 0,679 0,064 0,683 0,78 0,044 0,781 0,586 0,083 0,6 MSER 0,714 0,057 0,715 0,807 0,039 0,807 0,714 0,057 0,719 BRISK 0,5 0,1 0,515 0,5 0,1 0,496 0,393 0,121 0,393 FAST 0,563 0,088 0,577 0,72 0,056 0,721 0,435 0,113 0,459 Nos testes, foram utilizados a combinação dos melhores descritores, SURF e MSER, para verificar se alcançava uma melhor caracterização das cédulas. Mas como resultado: houve apenas uma pequena melhoria, levando-se em consideração ao índice do MSER. E em relação ao SURF, a combinação não conseguiu superar o índice da utilização individual do SURF. 5. Conclusão Este trabalho apresentou uma análise de descritores e classificadores na detecção de cédulas de real. De acordo com os testes realizados com os descritores, demonstramos

6 que o descritor que obteve um melhor resultado foi o SURF. Dentre os classificadores que foram analisados o que obteve melhor resultado foi o MLP, com um TPR acima de 0,9. Mas com a base de imagens submetidas a ruídos, houve uma queda significativa no reconhecimento, indicando haver a necessidade da inclusão de uma etapa de eliminação de ruídos nas imagens, para tentar aumentar a acurácia dos resultados. Como trabalhos futuros, espera-se a utilização dos descritores e classificadores, em aplicativos de reconhecimento de cédulas, para auxilio aos deficientes visuais. Referências Bay, H., Ess, A., Tuytelaars, T., and Van Gool, L. (2008). Speeded-up robust features (surf). Comput. Vis. Image Underst., 110(3): Costa, C. M. C. d., Veiga, G., and Sousa, A. (2016). Recognition of Banknotes in Multiple Perspectives Using Selective Feature Matching and Shape Analysis. Braganà a. Hasanuzzaman, F. M., Yang, X., and Tian, Y. (2012). Robust and effective componentbased banknote recognition for the blind. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 42(6): Kinto, E. A. (2011). Otimização e análise das máquinas de vetores de suporte aplicadas à classificação de documentos. PhD thesis, Universidade de São Paulo. Leutenegger, S., Chli, M., and Siegwart, R. Y. (2011). Brisk: Binary robust invariant scalable keypoints. In Computer Vision (ICCV), 2011 IEEE International Conference on, pages IEEE. Ludermir, T. B., Braga, A. P., and Carvalho, A. (2000). Redes neurais artificiais: teoria e aplicações. Livros Técnicos e Científicos Editora. Maia, J. (2010). Detecção e reconhecimento de objetos usando descritores locais. PhD in Bioinformatics, Universidade Federal do Ceara, Biomathematics Group, R. Qta. Grande, 6: Matas, J., Chum, O., Urban, M., and Pajdla, T. (2004). Robust wide-baseline stereo from maximally stable extremal regions. Image and vision computing, 22(10): Mulmule-Shirkhedkar, D. and Dani, A. R. (2015). Comparative study of surf and freak descriptor on indian rupee currency notes. In Information Processing (ICIP), 2015 International Conference on, pages IEEE. Musavi, M., Ahmed, W., Chan, K., Faris, K., and Hummels, D. (1992). On the training of radial basis function classifiers. Neural Networks, 5(4): Pass, G., Zabih, R., and Miller, J. (1997). Comparing images using color coherence vectors. In Proceedings of the fourth ACM international conference on Multimedia, pages ACM. Platt, J. C. (1999). 12 fast training of support vector machines using sequential minimal optimization. Advances in kernel methods, pages Teixeira, V. V., Braga, J. C., and do Nascimento, M. Z. (2015). Aplicativo identificador de cédulas para deficientes visuais. Revista de Informática Aplicada, 11(1). Treiber, M. A. (2010). An introduction to object recognition: selected algorithms for a wide variety of applications. Springer Science & Business Media.