Segmentação de Íris utilizando Bag of Keypoints

Transcrição

1 Segmentação de Íris utilizando Bag of Keypoints Fabio Nascimento Brandão, Prof. Dr. Maurício Marengoni Universidade Presbiteriana Mackenzie Rua da Consolação, 930 São Paulo - SP - Brasil fabio.nb@gmail.com, mmarengoni@mackenzie.br Abstract This paper presents an ongoing research that uses a Bag of Keypoints technique for the iris location in images. The idea is to use SURF points and learn how to identify points inside the iris region based on SURF features. Once the points inside the iris are selected they are used for region growing and grouping, such that the whole iris is segmented at the end. This is the first step performed in human recognition based on iris. The paper presents the basic concepts involved and preliminary results. The technique seems promising and can be easily adapted to different region types. 1. Introdução A biometria é uma área de estudo que utiliza as características físicas e comportamentais das pessoas para o seu reconhecimento. Os sistemas de identificação biométrica atuais estão ficando cada vez mais populares devido às suas características como confiança, velocidade de execução, conforto de utilização e dificuldade de falsificação. [20] Existem diversas características que podem ser utilizadas no reconhecimento de uma pessoa, entre elas estão: impressão digital, voz, modo de andar, face e íris. O reconhecimento através da íris se destaca pela dificuldade de se alterar acidentalmente ou intencionalmente as suas características, já que ela é um órgão protegido dentro do olho humano. Além disso, o padrão da íris se mantém inalterado durante toda a vida de uma pessoa e o seu padrão é único. [7] Qualquer sistema de reconhecimento de íris segue basicamente os mesmos passos: aquisição da imagem, segmentação da íris na imagem, extração das características (isto é, obter os padrões da íris) e comparação das características extraídas com uma base de dados. O passo mais crítico entre os descritos é a segmentação, sendo que a segmentação incorreta da íris pode ocasionar o reconhecimento incorreto de uma pessoa. Os problemas que surgem durante esta etapa são: grande variabilidade do posicionamento da íris na imagem, bem como grande variabilidade do tamanho da íris; presença de oclusões (causadas pelos cabelos, cílios, pálpebras e óculos); borrões na imagem; problemas no foco; reflexos especulares e ângulos de visão oblíquos. [11] Na Figura 1 (a), vemos a imagem original e na Figura 1 (b) vemos a imagem segmentada. Esta imagem possui alguns tipos de ruídos: oclusões causadas pelos cílios e pálpebras e reflexos especulares. Além disso, a segmentação foi feita de maneira incorreta, pois não detectou corretamente a localização da íris e o seu tamanho. Figura 1. Exemplo de segmentação incorreta, com diversos tipos de ruído Os algoritmos geralmente são projetados para aquisição da imagem de forma cooperativa, isto é, o usuário que será reconhecido facilita o processo de captura da imagem de sua íris (ex.: usuário se mantém parado na frente da câmera). Os maiores problemas aparecem quando a aquisição da imagem é feita de forma não cooperativa, onde o usuário tem pouca ou quase nenhuma participação no processo de captura da imagem. Com isso, as imagens capturadas apresentam muitos ruídos, dificultando o processamento da imagem e, conseqüentemente, o reconhecimento da pessoa. [23] 161

2 O algoritmo utilizado na segmentação da íris deve ser rápido e robusto. A robustez está relacionada com a capacidade do algoritmo em lidar com diversos tipos de ruídos, já que o desempenho global do sistema de reconhecimento de íris está diretamente ligado com o desempenho do algoritmo de segmentação (pois é nesta etapa que o algoritmo extrai de maneira eficaz a região da imagem associada exclusivamente com a íris)[15]. A segmentaçao de íris é um problema com um alto grau de complexidade, sendo que, no período de Julho de 2007 à Dezembro de 2008 uma disputa de segmentação de íris chamada NICE.I[1] foi realizada para avaliar o desempenho de diversos algoritmos de segmentaçao de íris enviados pelos participantes. Boa parte das imagens das íris foram tiradas com close-up e em um ambiente com condições normais (onde a pessoa que está sendo fotografada coopera no processode aquisição da imagem, a iluminação utilizada no ambiente é adequada para o tipo de tarefa sendo executada, etc) e, além disso, as íris das imagens poderiam estar obstruídas por qualquer tipo de ruído (ex.: obstrução causada pelos cabelos, cílios, óculos, etc). A base de imagens utilizada no NICE.I foi a UBIRIS.v2, que foi uma nova versão da base de imagens UBIRIS.v1 [17]. Esta base foi feita devido às diversas críticas sobre o realismo dos ruídos das imagens que foram descritos na literatura, sendo que esta base possui mais de imagens. As imagens foram obtidas em um ambiente sem restrição (a uma distância entre 3 e 10 metros, com o indivíduo em movimento e com ondas visíveis [luzes que o olho do ser humano é capaz de ver]), que corresponde a um ambiente mais real. Na Figura 2 podem ser vistos diversos tipos de oclusões e ruídos que podem ocorrer no processo de captura da imagem da íris. A pesquisa apresentada neste trabalho procura responder às seguintes questões: É possível utilizar pontos característicos do tipo SUF para aprender a localizar objetos de interesse do tipo íris? É possível utilizar estes pontos aprendidos e fazer um agrupamento ou crescimento de região para segmentar uma região de interesse? Este trabalho tem como objetivo principal a implementação das técnicas apresentadas para responder as questões levantadas. O trabalho irá utilizar o algoritmo SURF para detectar e descrever os pontos característicos das imagens, que servirá de entrada para a geraçao de um vocabulário e, após estes passos, será treinado um classificador SVM para a localizaçao das íris nas imagens. Com a íris detectada, a técnica de Region Growing será utilizada para que a íris seja segmentada. Serão Figura 2. Exemplos de oclusões e ruídos, onde podem ser vistas oclusões causadas por cílios, pálpebras, óculos e cabelos, reflexos especulares e imagem capturada com ângulo de visão oblíquo apresentados ainda resultados preliminares obtidos nos experimentos já realizados. 2. Revisão Bibliográfica 2.1. Detecção e Representação de Pontos Característicos Existem diversos algoritmos capazes de detectar e representar características de imagens, entre eles podemos citar o SIFT e o SURF [26]. Basicamente o algoritmo SIFT procura pontos de interesse na imagem e os representa através de um conjunto de valores numéricos que não levam em conta as mudanças na escala, iluminação e outras transformações geométricas. Estes pontos são chamados de pontos característicos, ou pontos invariantes. O SIFT[14] tem sido utilizado para o reconhecimento de objetos em ambientes onde podem existir oclusões parciais [18], localização de robôs e mapeamento de lugares [21], fotos panorâmicas, modelagem 3D, rastreamento, reconhecimento de gestos humanos, entre outros. A idéia do algoritmo SURF é semelhante à do SIFT, porém o SURF é um algoritmo de menor complexidade. De acordo com seus autores o algoritmo SURF é mais rápido e mais robusto em relação a transformações geométricas do que o SIFT [4]. 162

3 2.2. Dicionário de Pontos Característicos No artigo de G. Csurka et al. [10] foi proposta uma nova metodologia de categorização visual chamada Dicionário de Pontos Característicos, ou "Bag of Keypoints". Esta nova metodologia é baseada em uma técnica de categorização de texto chamada "Bag of Words" [25]. A idéia de se adaptar técnicas de categorização de texto na área de visão computacional não é nova, Zhu et al [28] investigaram a quantização vetorial de pequenas imagens quadradas, que foram chamadas de blocos chaves. Foi mostrado que a quantização vetorial produz mais resultados semânticos que os métodos baseados na análise de cores e texturas. O método descrito no artigo de G. Csurka [10] possui quatro passos fundamentais: Detecção e descrição de trechos da imagem Atribuição de descritores de trechos aos grupos pré-determinados (vocabulário) através de um algoritmo de quantização vetorial Construir um conjunto de Keypoints, que sumariza o número de trechos associados aos grupos Aplicar um classificador de múltiplas classes, considerando o Bag of Keypoints como um vetor de características, determinando em quais categorias a imagem deve ser classificada Os descritores obtidos no primeiro passo devem ser invariantes às condições que são irrelevantes para a tarefa de categorização (transformações nas imagens, como por exemplo a rotação e a translação, e também variações de iluminação e oclusões parciais) mas rico o suficiente em informações que discriminem a categoria na qual o trecho analisado pertence. O segundo passo deve conter um vocabulário do tamanho ideal para distinguir mudanças relevantes nas partes das imagens e não distinguir mudanças irrelevantes que podem ocorrer nas imagens como por exemplo ruídos. O objetivo principal deste algoritmo é utilizar um vocabulário (ou conjunto de características) que tenha um bom desempenho de categorização em um determinado conjunto de dados de treinamento. Os passos envolvidos no treinamento são: Detectar e descrever os trechos da imagem de um conjunto de imagens de treinamento Construir um conjunto de vocabulários: cada um sendo o centro de um grupo, em relação aos descritores Extração dos bags of words desses vocabulários Treinamento dos classificadores de múltiplas classes (por ex.: SVM) usando os bags of words como vetores de entrada Seleção do vocabulário e classificador com o melhor desempenho Os resultados do trabalho de G. Csurka [10] mostraram que essa nova técnica se mostrou eficaz já que ela possui robustez diante de imagens que possuam um fundo complexo, e obteve um alto desempenho na categorização sem explorar as informações geométricas contidas nas imagens. No trabalho realizado por D. Filliat [13] a técnica Bag of Keypoints foi utilizada no desenvolvimento de um sistema de localização e aprendizagem de mapas feito por robô. De acordo com o artigo esta técnica se mostrou confiável para reconhecer em que ambiente o robô estava após um curto período de tempo e, além disso, a técnica se mostrou estável após um longo tempo de uso Classificador SVM O SVM (support vector machine ou support vector network) [9] é uma máquina de aprendizagem para problemas de classificação entre dois grupos. O algoritmo funciona mapeando um vetor de entrada definido em um espaço de muitas dimensões, onde é criada uma superfície para separar os vetores em dois grupos. Através de técnicas de classificação binária o SVM pode ser utilizado como um classificador de multi-classes [12] Segmentação A segmentação é o processo de divisão de uma imagem em grupos de pixels que simplificam a representação da imagem, facilitando assim a sua análise. A segmentação geralmente é utilizada como um pré processamento na localização de objetos e contornos (linhas, curvas ou outras formas geométricas) em imagens. Na figura 3 são exibidas diversas segmentações de íris, com baixa taxa de erro na área segmentada, obtidas no NICE.I. Figura 3. Exemplo de segmentações com baixas taxas de erro no NICE.I [1] 163

4 Existem diversas aplicações onde a segmentação de imagem é utilizada como um pré processamento,tais como: Imagens médicas Localização de tumores ou outras patologias [8] Medição de volume de tecidos Cirurgia feita por computadores Diagnósticos Estudo da estrutura anatômica Localização de objetos em imagens de satélites (estradas, florestas, etc.) [22] Reconhecimento de face [2], impressão digital [6], íris [3] Diversas técnicas têm sido utilizadas no processo de segmentação de imagens já que não há uma solução única ou geral para o problema de segmentação e, geralmente várias técnicas de filtragem e binarização são combinadas para resolver, de maneira eficaz, um problema específico. Entre as técnicas mais utilizadas estão: clusterização [5], técnicas baseadas em histograma [24], detecção de arestas [19], crescimento de região [16], particionamento de grafos [27] e watershed [19]. A técnica que será utilizada neste trabalho é a de crescimento de região, pois ela é extremamente simples de implementar. O princípio básico desta técnica é colocar uma ou mais sementes em uma imagem e fazer com que elas "cresçam" de forma a agrupar pixels com alguma característica homogênea, criando assim uma ou mais regiões na imagem. Estas sementes são escolhidas com algum critério, como por exemplo, o valor de intensidade do pixel em uma imagem em nível de cinza ou até mesmo a posição de um pixel em uma imagem. [16] Após a escolha das sementes, o conjunto de pixels ao redor de cada semente é analisado de acordo com um critério de vizinhança (geralmente 4 ou 8) para ver ser estes pixels pertencem ou não à região. Com isso, ocorre o crescimento da região até que todas as regiões da imagem não cresçam mais. As vantagens desta técnica são: separação correta de regiões que possuam as mesmas propriedades e simplicidade, pois ela se baseia na comparação de pixels com as regiões formadas. Ruídos na imagem e alta variação na intensidade podem resultar em buracos no resultado da imagem, o que é uma das principais desvantagens desta técnica. Um exemplo de segmentação de imagem pode ser vista na Figura Metodologia Proposta As imagens que foram utilizadas para os testes e treinamento dos algoritmos enviados ao NICE.I serão utilizadas no processo de aprendizagem e validação do Figura 4. Crescimento de região utilizando 10 sementes colocadas nos pixels com níveis mais próximos ao branco algoritmo proposto. Os algoritmos enviados ao NICE.I devem processar a imagem de um olho e retornar uma imagem de mesma dimensão, onde os pixels pretos representam as regiões da íris como pode ser visto na Figura 5. Figura 5. Exemplo da segmentação desejada A taxa de erro da classificação do algoritmo para a imagem I i é dada pela proporção dos pixels classificados incorretamente sobre a quantidade de pixels de toda a imagem como pode ser visto na equação 1. E i = 1 O(c,r ) C(c,r ) (1) c r c r Onde O(c,r ) e C(c,r ) são respectivamente os pixels da saída do algoritmo e os pixels da imagem esperada. A taxa de erro da classificação E do algoritmo é a média dos erros E i das imagens de entrada como pode ser visto na equação 2. E = 1 E i (2) n i O valor E está limitado no intervalo entre 0e1efoi utilizado no NICE.I para classificar o desempenho dos algoritmos enviado à disputa. Neste contexto, 1 e 0 significam respectivamente o pior e o melhor resultado. A segunda medida de erro utilizada se destina a compensar a desproporção entre os pixels que representam a íris e os pixels que não representam íris nas imagens. 164

5 Essa taxa de erro para a imagem E i é dada através da média das taxas entre os falsos positivos (FP) e os falsos negativos (FN) e é representada pela equação 3. FP + FN E i = (3) 2 Similarmente à taxa de erro E 1, a taxa de erro E 2 é calculada através da média dos erros E i das imagens de entrada. As taxas de erro E obtidas pelos vencedores do NICE.I ficaram entre 0,0131 e 0,0305. O primeiro passo do treinamento do algoritmo consiste em aplicar o algoritmo de detecção e representação de features SURF para obter os pontos de interesse das imagens. Esses pontos serão utilizados para criar o vocabulário do algoritmo Bag of Keypoints. Esse vocabulário é formado através da clusterização dos pontos através do algoritmo k-means. Neste projeto foram gerados 50 grupos de pontos que pertencem à íris e 50 grupos de pontos que não pertencem à íris. Com o vocabulário formado basta construir o Bag of Keypoints das regiões das imagens (regiões obtidas através do particionamento da imagem em grids de 20x15). O Bag of Keypoints de cada grid consiste em um vetor do tamanho do vocabulário, onde cada posição desse vetor é a quantidade de pontos da grid que mais se parecem com a keyword relacionada. As Bag of Keypoints obtidas são então utilizadas como entrada do treinamento do classificador SVM. O processo de treinamento do algoritmo pode ser representado pela Figura 6. Figura 6. Processo de treinamento do algoritmo O processo para a segmentação da íris consiste em separar a imagem em grids, obter o Bag of Keypoints de cada grid e verificar com o classificador SVM treinado se a grid possui ou não uma íris. Se a grid possuir íris, o ponto dessa grid que mais se parecer com um dos 50 pontos do vocabulário de íris é utilizado como entrada para o algoritmo de crescimento de região. Este processo pode ser representado pela Figura 7. Figura 7. Processo de segmentaçao do algoritmo O treinamento da técnica proposta no artigo utiliza 100 imagens de testes do NICE.I, enquanto a validação utiliza aproximadamente 400 imagens. Essas imagens foram fornecidas pelo NICE.I e, para cada imagem de teste existe uma imagem com a máscara onde a íris está posicionada. Essa máscara foi gerada pelos organizadores do NICE.I manualmente e são consideradas como a segmentação correta da íris. 4. Resultados Até o momento de escrita deste artigo todo o processo de extração de features das imagens, geração do vocabulário, criação da Bag of Keypoints, treinamento do classificador e busca de áreas na imagem que possuim íris já foi implementada. O algoritmo de crescimento de região ainda não foi implementado, portanto não temos o resultado da eficácia da técnica como um todo. O processo de busca de grids na imagem que possuem íris está com uma taxa de erro de aproximadamente 37%, sendo que o processo não está conseguindo encontrar íris em pelo menos 0.5% das imagens de validação. 5. Conclusões A técnica de Bag of Keypoints se mostra muito boa para classificar diferentes tipos de imagens. Neste artigo a utilização dela para encontrar a íris em regiões das imagens se mostra promissora, mas por algum motivo os resultados esperados não estão aparecendo. O próximo passo é verificar o motivo pelo qual a classificação das regiões entre região com íris ou sem íris está sendo feita de forma incorreta. Após isto devemos implementar algum tipo de escolha de ponto dentro da região classificada como íris para que este ponto seja 165

6 utilizado como uma semente no algoritmo de crescimento de região. Referências [1] Nice.i - noisy iris challenge evaluation, part i - [2] B. B. Amor, M. Ardabilian, and L. Chen. Enhancing 3d face recognition by mimics segmentation. Intelligent Systems Design and Applications, International Conference on, 3: , [3] G. Annapoorani, R. Krishnamoorthi, and P. G. Jeya. Accurate and fast iris segmentation, [4] H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool. Speededup robust features (surf). Computer Vision and Image Understanding, 110(3): , Similarity Matching in Computer Vision and Multimedia. [5] A. M. Bensaid, L. O. Hall, J. C. Bezdek, and L. P. Clarke. Partially supervised clustering for image segmentation. 29(5): , May [6] S. Bernard, N. Boujemaa, D. Vitale, and C. Bricot. Fingerprint segmentation using the phase of multiscale gabor wavelets, [7] Y. Chen, M. Adjouadi, C. Han, J. Wang, A. Barreto, N. Rishe, and J. Andrian. A highly accurate and computationally efficient approach for unconstrained iris segmentation. Image and Vision Computing, 28(2): , [8] M. C. Clark, L. O. Hall, D. B. Goldgof, R. Velthuizen, F. Reed, and M. S. Silbiger. Automatic tumor segmentation using knowledge-based techniques. IEEE Transactions on Medical Imaging, 17: , [9] C. Cortes and V. Vapnik. Support-vector networks. Machine Learning, 20: , /A: [10] G. Csurka, C. R. Dance, L. Fan, J. Willamowski, and C. Bray. Visual categorization with bags of keypoints. In In Workshop on Statistical Learning in Computer Vision, ECCV, pages 1 22, [11] R. Donida Labati and F. Scotti. Noisy iris segmentation with boundary regularization and reflections removal. Image and Vision Computing, 28(2): , [12] K.-B. Duan and S. S. Keerthi. Which is the best multiclass svm method? an empirical study. In N. C. Oza, R. Polikar, J. Kittler, and F. Roli, editors, Multiple Classifier Systems, volume 3541 of Lecture Notes in Computer Science, pages Springer Berlin / Heidelberg, [13] D. Filliat. A visual bag of words method for interactive qualitative localization and mapping. In Proceedings of the International Conference on Robotics and Automation (ICRA), [14] D. G. Lowe. Object Recognition from Local Scale-Invariant Features. Computer Vision, IEEE International Conference on, 2: vol.2, August [15] M. A. Luengo-Oroz, E. Faure, and J. Angulo. Robust iris segmentation on uncalibrated noisy images using mathematical morphology. Image and Vision Computing, 28(2): , [16] M. Mancas, B. Gosselin, and B. Macq. Segmentation using a region-growing thresholding. In Proceedings of the SPIE 5672 (2005) , pages [17] H. Proenca and L. Alexandre. UBIRIS: A noisy iris image database. In 13th International Conference on Image Analysis and Processing - ICIAP 2005, volume LNCS 3617, pages , Cagliari, Italy, September Springer. [18] A. Ramisa, S. Vasudevan, D. Aldavert, R. Toledo, and R. Lopez de Mantaras. Evaluation of the sift object recognition method in mobile robots. In Proceeding of the 2009 conference on Artificial Intelligence Research and Development: Proceedings of the 12th International Conference of the Catalan Association for Artificial Intelligence, pages 9 18, Amsterdam, The Netherlands, The Netherlands, IOS Press. [19] N. Salman. Image segmentation based on watershed and edge detection techniques. Int. Arab J. Inf. Technol., 3(2): , [20] W. Sankowski, K. Grabowski, M. Napieralska, M. Zubert, and A. Napieralski. Reliable algorithm for iris segmentation in eye image. Image and Vision Computing, 28(2): , [21] S. Se, D. Lowe, and J. Little. Mobile robot localization and mapping with uncertainty using scale-invariant visual landmarks. International Journal of Robotics Research, 21: , [22] J. Senthilnath, M. Rajeshwari, and S. Omkar. Automatic road extraction using high resolution satellite image based on texture progressive analysis and normalized cut method. Journal of the Indian Society of Remote Sensing, 37: , /s [23] T. Tan, Z. He, and Z. Sun. Efficient and robust segmentation of noisy iris images for non-cooperative iris recognition. Image and Vision Computing, 28(2): , [24] O. J. Tobias and R. Seara. Image segmentation by histogram thresholding using fuzzy sets. IEEE Transactions on Image Processing, 11(12): , [25] S. Tong and D. Koller. Support Vector Machine Active Learning with Applications to Text Classification. In P. Langley, editor, Proceedings of ICML-00, 17th International Conference on Machine Learning, pages Morgan Kaufmann Publishers, San Francisco, US, [26] C. Valgren and A. J. Lilienthal. SIFT, SURF and seasons: Long-term outdoor localization using local features. In Proceedings of the European Conference on Mobile Robots (ECMR), pages , September [27] S. X. Yu, R. Gross, and J. Shi. Concurrent object recognition and segmentation by graph partitioning. In in NIPS, pages MIT Press, [28] L. Zhu, A. Rao, and A. Zhang. Theory of keyblock-based image retrieval. ACM Trans. Inf. Syst, 20: ,