Fabio Nascimento Brandão. Segmentação de Íris utilizando Bag of Keypoints

Transcrição

1 Fabio Nascimento Brandão Segmentação de Íris utilizando Bag of Keypoints São Paulo 2011

2 Fabio Nascimento Brandão Segmentação de Íris utilizando Bag of Keypoints Este trabalho tem como objetivo principal a utilização de uma técnica de visão computacional chamada Bag of Keypoints na localização e segmentação de íris e a comparação dos resultados obtidos com os resultados de uma disputa de segmentação de íris. Orientador: Prof. Dr. Maurício Marengoni UNIVERSIDADE PRESBITERIANA MACKENZIE RUA DA CONSOLAÇÃO, 930 CEP CONSOLAÇÃO SÃO PAULO - SP - BRASIL São Paulo 2011

3

4 Tese de Mestrado sobre o título "Segmentação de Íris utilizando Bag of Keypoints", defendida por Fabio Nascimento Brandão e aprovada em 10 de agosto de 2011, em São Paulo, estado de São Paulo, pela banca examinadora constituída pelos doutores: Prof. Dr. Maurício Marengoni Orientador Prof. Dr. Leandro Augusto da Silva Universidade Presbiteriana Mackenzie Prof. Dr. Anderson de Rezende Rocha Universidade Estadual de Campinas

5 Agradecimentos Gostaria de agradecer à CAPES - Coordenação de Aperfeiçoamento de Pessoal do Nível Superior pela bolsa concedida durante os meus estudos.

6 Resumo A biometria é uma área de estudo que tem como objetivo a identificação de pessoas através de características físicas e comportamentais. Estas características podem ser capturadas por sensores específicos, ou por câmeras. Os sistemas biométricos são utilizados, por exemplo, na identificação criminal, concessão de acesso à áreas privadas ou documentos. O reconhecimento de uma pessoa através da íris é confiável pois a íris não é alterada com o passar dos anos e são raros os casos de alteração acidental ou intencional uma vez que a íris está protegida dentro do olho humano. Esta dissertação explora a possibilidade do uso da técnica de Bag of Keypoints para classificação de partes de imagens, utiliza pontos SURF dentro destas partes para fazer crescimento de região e segmentar a íris para uma etapa posterior de identificação. Os resultados obtidos são da ordem de 7% de erro em termos de segmentação e, embora inferiores ao estado da arte (da ordem de 3%), indicam a possibilidade de uma exploração mais detalhada desta técnica, que pode ainda ser facilmente adaptada para outros usos.

7 Abstract Biometrics is a study field which objective is the person recognition using physical and behavioural traits. These traits can be acquired by specific sensors or by cameras. The biometric systems are used for criminal identification, private areas access or document access. The iris recognition is reliable because the iris does not change in the lifetime and rarely it can be changed accidentally or intentionally since the iris is protected inside the human eye. This master thesis verify the possibility of usage the Bag of Keypoints technique for image parts classification, using SURF points inside these parts to use as seeds of the region growing technique and segment iris for a posterior recognition. Obtained results are of the order of 7% segmentation error and, although less than the state of the art (of the order of 3%), these results indicate the possibility of a more detailed verification of this technique, that can be easily adapted to other uses.

8 Sumário Lista de Figuras Lista de Tabelas 1 Introdução p Revisão Bibliográfica p Segmentação p Clusterização p Técnicas baseadas em histograma p Detecção de arestas p Crescimento de regiões p Watershed p Clusterização e Modelo de Curvatura p Localização de reflexos, limites da íris e limites da pálpebra p Detecção de íris através da combinação de pupila e íris p Localização do limite límbico p Localização da íris através da busca de círculos e reflexos especulares. p Segmentação de íris através da detecção da esclera p Dicionário de Pontos Característicos p Detecção e Representação de Pontos Característicos p SIFT p SURF p Dicionário de Pontos Característicos p K-means p Classificador SVM p. 33

9 4 NICE.I p Metodologia Científica p Base de Dados p Detecção e Representação de Pontos Característicos p Dicionário de Pontos Característicos p Treinamento e Classificação p Segmentação p Resultados p Pontos característicos SIFT ou SURF? p Número de pontos descritores em cada imagem p Número de palavras no vocabulário p Region Growing p Um processo mais simples p Conclusões e Trabalhos Futuros p. 51 Referências p. 53

10 Lista de Figuras 1 Exemplo de segmentação incorreta, com diversos tipos de ruído..... p Exemplo de segmentações com baixas taxas de erro no NICE.I [1]... p Exemplo de segmentação por histograma p Exemplo de detecção de arestas p Exemplo de crescimento de regiões p Exemplo de watershed em uma imagem de ressonância magnética.. p Exemplo de clusterização de uma imagem de íris p Preenchimento de reflexos e localização dos limites da íris p Localização da íris com clusterização k-means e transformada de Hough p Localização das pápebras com modelo de parábola p Localização da íris utilizando AdaBoost p Localização das pálpebras com transformada de Hough p Reflexo causado por janelas p Detecção de esclera p Localização do olho à partir da esclera p Exemplo de imagem processada pelo SIFT p Exemplo de imagem processada pelo SURF p Exemplo de oclusões e ruídos p Exemplo da segmentação desejada p Exemplo de imagem da base de dados com segmentação manual... p Processo de treino p Processo de teste p Melhores segmentações obtidas pelo algoritmo p Piores segmentações obtidas pelo algoritmo p Melhores segmentações obtidas pelo algoritmo mais simples p Piores segmentações obtidas pelo algoritmo mais simples p. 50

11 Lista de Tabelas 1 Taxa de acerto de categorização com Bag of Keypoints p Tabela com as taxas de erro obtidas p Tabela com as taxas de erro obtidas - SURF vs SIFT p Tabela com as taxas de erro para as variações na configuração do SURF p Tabela com as taxas de erro e acertos obtidas em relação ao vocabulário p Tabela dos resultados obtidos com a categorização p Tabela com as taxas de erro e acertos obtidas na segmentação..... p Tabela com as taxas de erro obtidas neste trabalho e no NICE.I..... p Taxas de erro na utilização do descritor SURF no classificador..... p. 49

12 11 1 Introdução A biometria é uma área de estudo que utiliza características físicas e/ou comportamentais das pessoas para fazer a identificação de um indivíduo. Os sistemas de identificação biométrica estão se tornando cada vez mais populares devido a características do tipo confiança, velocidade de execução, conforto de utilização e dificuldade de falsificação [2]. Os sensores que capturam estas características biométricas, normalmente, são sensores ópticos e técnicas de processamento de imagens são utilizadas para fazer a identificação de indivíduos. Existem diversas características que podem ser utilizadas no reconhecimento de uma pessoa, entre elas estão: impressão digital, voz, modo de andar, face e íris. O reconhecimento utilizando a íris se destaca pela dificuldade de se alterar acidentalmente ou intencionalmente as suas características, já que a íris é um órgão protegido dentro do olho humano. O reconhecimento é feito através do padrão da íris, isto é, o anel colorido que circunda a pupila do olho, sendo que este padrão é único e se mantém inalterado durante toda a vida de uma pessoa [3]. Qualquer sistema de reconhecimento de íris segue basicamente os mesmos passos: Aquisição da imagem, Segmentação da íris na imagem, Extração das características (isto é, obter os padrões da íris) e Comparação das características extraídas com uma base de dados. O passo mais crítico entre os descritos acima é a segmentação, pois a segmentação incorreta da íris pode ocasionar o reconhecimento incorreto de uma pessoa. Os problemas que surgem durante esta etapa são: a variabilidade do posicionamento e do tamanho da íris na imagem, presença de oclusões (causadas por cabelos, cílios, pálpebras e óculos); borrões na imagem; problemas no foco; reflexos especulares e ângulos de visão oblíquos. [4] Na Figura 1 (a), temos uma imagem de íris original e na Figura 1 (b) temos uma imagem da íris segmentada. Esta imagem possui alguns tipos de ruído: oclusões causadas pelos cílios e pálpebras e reflexos especulares. Além disso, a segmentação não detectou corretamente a íris.

13 12 (a) (b) Figura 1: Exemplo de segmentação incorreta, com diversos tipos de ruído. Os algoritmos de reconhecimento de indivíduos à partir da identificação de íris geralmente são projetados para aquisição da imagem da íris de forma cooperativa, isto é, o usuário que será reconhecido facilita o processo de captura da imagem de sua íris (por exemplo, o usuário se mantém parado na frente da câmera). Os maiores problemas aparecem quando a aquisição da imagem da íris é feita de forma não cooperativa, onde o usuário tem pouca ou quase nenhuma participação no processo de captura da imagem. Com isso, as imagens capturadas apresentam diversos tipos de ruído (problemas de foco ou de posicionamento da íris), dificultando o processo de captura da íris e, conseqüentemente, o reconhecimento da pessoa [5]. Todo o processo de captura, segmentação e identificação da íris deve ser rápido e robusto. A robustez está relacionada com a capacidade do algoritmo em lidar com diversos tipos de ruídos e ainda assim reconhecer o indivíduo corretamente. Em termos de rapidez devemos salientar que uma pessoa, mesmo atuando de forma colaborativa irá permanecer parada para a captura de uma imagem apenas por alguns segundos. O desempenho global do sistema de reconhecimento de íris está diretamente ligado com o desempenho do algoritmo de segmentação (pois é nesta etapa que o algoritmo extrai de maneira eficaz a região da imagem associada exclusivamente com a íris) [6]. Atualmente, os algoritmos para detecção e segmentação de íris tem sido baseados em diversas ténicas de processamnto de imagens e de visão computacional. Entre elas podemos citar técnicas de segmentação de íris através da localização de círculos em imagens, clusterização e a detecção da esclera com o intuito de localizar a íris. A pesquisa realizada durante o desenvolvimento deste trabalho procurou responder às seguintes questões técnicas: É possível limitar a região de uma imagem de forma inteligente e computar pontos característicos apenas dentro destas regiões? É possível utilizar estes pontos característicos do tipo SURF para localizar objetos de interesse do tipo íris? É possível aprender estes pontos característicos e utilizá-los para fazer um agru-

14 13 pamento ou crescimento de regiões e segmentar uma região de interessenuma imagem? Este trabalho se difere de outros que também fazem a segmentação de íris pois explora a possibilidade de se utilizar uma técnica de visão computacional chamada Bag of Keypoints (baseada em uma técnica de processamento de textos chamada Bag of Words), para identificar regiões da imagem que possuem trechos da íris. Com algumas regiões da íris identificadas, são selecionados pontos dentro destas regiões e, consequentemente dentro da íris, para serem utilizados como sementes da técnica de Region Growing que é utilizada então para segmentar a íris. A questão endereçada neste trabalho foi a de se verificar se a técnica de Bag of Keypoints é eficaz na classificação de pequenas regiões das imagens, da mesma forma como ela é eficaz para classificar diferentes tipos de imagens em classes pré-definidas.

15 14 2 Revisão Bibliográfica 2.1 Segmentação Segmentação é o processo de divisão de uma imagem em grupos de pixels homogêneos em alguma propriedade e que simplifiquem a representação da imagem, facilitando assim uma posterior análise e reconhecimento ou classificação. A segmentação geralmente é utilizada como um pré-processamento na localização de objetos e contornos (linhas, curvas ou outras formas geométricas) em imagens. Na Figura 2, são exibidas diversas segmentações de íris, com baixa taxa de erro na área segmentada, obtidas no NICE.I. A região verde das imagens indica segmentação em excesso e a região vermelha indica a falta de segmentação. Figura 2: Exemplo de segmentações com baixas taxas de erro no NICE.I [1] Uma vez segmentadas, as imagens podem ser utilizadas em diversas aplicações, entre elas podemos citar: Aplicações médicas Localização de tumores ou outras patologias [7]

16 15 Medição de volume de tecidos [8] Diagnósticos [9] Estudo da estrutura anatômica [10] Localização de objetos em imagens de satélites (estradas, florestas, etc.) [11] Reconhecimento de face [12], impressão digital [13], íris [14] Diversas técnicas de processamento de imagens têm sido utilizadas no processo de segmentação, porém, não existe uma técnica que seja de uso geral e que possa ser aplicada em qualquer situação. Uma forma comum de se segmentar imagens é a aplicação de várias técnicas de filtragem e binarização combinadas que resolvem, de maneira eficaz, um problema de segmentação específico. Entre as técnicas mais utilizadas na segmentação de imagens podemos citar: clusterização [15], técnicas baseadas em histograma [16], detecção de arestas [17], crescimento de regiões [18], particionamento de grafos [19] e watershed [17] Clusterização De forma geral as técnicas de clusterização dividem os dados em grupos baseado em alguma medida de proximidade. Existem dois tipos de abordagens para este tipo de técnica: hard clustering, onde cada pixel da imagem pertence a apenas um grupo; e clusterização do tipo fuzzy, onde um pixel pode pertencer a mais de um grupo com um determinado fator de pertencimento [15]. Os algoritmos de clusterização não necessitam de uma rede de treinamento e existem três algoritmos que são freqüentemente utilizados: k-means, expectation-maximization e fuzzy c-means. O algoritmo k-means agrupa os dados calculando iterativamente a intensidade de nível de cinza média para cada agrupamento e segmenta a imagem classificando cada pixel no grupo onde a diferença entre a propriedade verificada no pixel e a média do grupo for mínima. O algoritmo expectation-maximization possui basicamente o mesmo princípio que o algoritmo k-means, porém este método assume que os dados seguem um modelo Gaussiano (também conhecido como distribuição normal), neste caso, um pixel pertence ao grupo se a probabilidade de pertencer a distribuição de um grupo for maior que pertencer a qualquer outro grupo. No algoritmo fuzzy c-means, cada pixel tem uma probabilidade (fator de pertencimento)de pertencer a um certo grupo, isto é, quanto maior o valor que associa um pixel a um grupo, maiores são as chances deste pixel pertencer ao grupo Técnicas baseadas em histograma As técnicas de segmentação baseadas em histogramas são computacionalmente mais eficientes quando comparadas a técnicas de outros tipos, pois, neste tipo de técnica um pixel é processado apenas uma vez. Basicamente, o histograma da imagem é calculado

17 16 utilizando-se todos os pixels da imagem e, após esta etapa, os picos e vales gerados no histograma são utilizados para localizar grupos na imagem [20]. Uma outra forma de segmentação é a aplicação recursiva desta técnica nos grupos encontrados, com o intuito de obter grupos menores e uma segmentação mais detalhada. Isto é repetido até que nenhum novo grupo seja encontrado. Uma das desvantagens deste processo é que pode ser difícil encontrar picos e vales significativos em uma imagem. Uma opção para resolver este problema é gerar histogramas baseados em outros sistemas de cores [21]. Figura 3: No topo à esquerda é mostrada a imagem original, no topo à direita temos o histograma desta imagem. No histograma, a região em laranja é a que será utilizada na segmentação. A imagem inferior à esquerda mostra uma máscara com base na região selecionada no histograma, onde os pixels brancos representam os pixels segmentados. A imagem inferior à direita mostra a imagem segmentada. Podemos observar que uma região de pele foi segmentada Detecção de arestas A detecção de arestas em uma imagem pode ser utilizada como base para diversas outras técnicas de reconhecimento de padrões. O objetivo da detecção de arestas é encontrar linhas em uma imagem que limitem uma região homogênea. As arestas e o limite de uma região estão relacionados já que no limite da região geralmente há um gradiente da intensidade do nível de cinza entre os pixels de uma imagem [20].

18 17 O resultado obtido com esta técnica de segmentação é um conjunto de curvas conectadas ou não que indicam o limite de um objeto nesta imagem. A aplicação desta técnica pode reduzir significativamente a quantidade de dados a serem processados em etapas posteriores (já que o processamento pode ser feito apenas nas regiões encontradas) e podem filtrar regiões sem significância para o problema. Na maioria dos casos, deve ser feita uma correção na imagem após a detecção de arestas pois, as linhas de borda obtidas geralmente estão fragmentadas, isto é, as arestas não estão totalmente conectadas. Além disso, podem ser obtidas falsas arestas que não correspondem a linhas reais na imagem original. Os algoritmos mais conhecidos desta técnica são: Canny edge detector, Differential edge detector e Sobel. A Figura 4 apresenta um exemplo de segmentação por detecção de arestas utilizando Canny edge detector. Figura 4: Exemplo de detecção de arestas usando Canny edge detector Crescimento de regiões O princípio básico da técnica de segmentação de imagens por crescimento de regiões é de se marcar alguns pontos na imagem numa região de interesse e utilizar estes pontos como sementes fazendo com que a região ao redor da semente cresça se os pixels ao redor possuirem as mesmas propriedades da semente, gerando assim uma região homogênea em uma certa propriedade. Estas sementes são escolhidas com algum critério como, por exemplo, pelo nível de cinza ou até mesmo a posição em uma imagem [18]. As vantagens desta técnica são: segmentação da imagem em regiões com propriedades similares e simplicidade, pois ela se baseia na comparação de pixels apenas com seus vizinhos próximos. Ruídos na imagem e alta variação na intensidade podem resultar em buracos na região segmentada,constituindo uma das principais desvantagens desta técnica. Porém, em muitos casos é possível se aplicar, por exemplo, técnicas de morfologia matemática para reduzir estes problemas.

19 18 Figura 5: Crescimento de regiões utilizando 10 sementes colocadas nos pixels com níveis de cinza mais próximos ao branco Watershed A transformada de watershed considera a magnitude do gradiente de uma imagem como uma superfície topográfica. Pixels tendo as maiores magnitudes de gradiente correspondem às linhas da bacia hidrográfica, que representam os limites desta bacia. A Figura 6 apresenta um exemplo da segmentação de uma imagem de coração utilizando a técnica de watershed. Figura 6: Exemplo de aplicação da técnica de watershed em uma imagem de ressonância magnética de um coração 2.2 Clusterização e Modelo de Curvatura No artigo de Tan et al. [5], foi proposto um algoritmo de clusterização para segmentar a íris em diversas partes. As regiões não pertencentes à íris (cílios, sobrancelhas, óculos, cabelo, entre outras) são identificadas e excluídas, reduzindo a possibilidade de localizar regiões de forma incorreta.

20 19 O primeiro passo desse algoritmo consiste em remover os reflexos especulares da imagem, como pode ser visto na Figura 7 (b). Após este passo, a imagem é clusterizada em diversos grupos selecionando 30% dos pontos mais claros e 20% dos pontos mais escuros, este resultado pode ser visto na Figura 7 (c). (a) (b) (c) (d) (e) Figura 7: A figura mostra um exemplo de segmentação de íris utilizando a técnica de clusterização da imagem. (a) Imagem original. (b) Imagem após a remoção de reflexos especulares. (c) Clusterização inicial. (d) Resultado da clusterização. (e) Classificação semântica. Imagens adaptadas do artigo de Tan et al. [5]. O passo seguinte consiste em classificar os pontos não clusterizados a alguma das regiões encontradas no agrupamento. Essa atribuição é feita através de um limiar da diferença entre a média das cores da região e a cor do ponto sendo verificado, divido pelo desvio padrão das cores da região. Se esse valor for menor que 2,5, então o ponto pertence à região se existe um caminho entre este ponto e esta região. O resultado da clusterização pode ser visto na Figura 7 (d). Assim que todos os pixels da imagem estiverem associados com alguma região, estas regiões serão rotuladas através de suas formas e cores. De uma maneira simples, a região da pele pode ser identificada através da sua intensidade, entretanto, outras regiões (sombrancelhas, cílios, cabelo e óculos) são difíceis de serem identificadas. Este problema pode ser resolvido através da aplicação de algumas regras: 1. A região da íris geralmente possui uma forma onde a região central é mais grossa do que as pontas, como pode ser visto na Figura 7 (e). 2. A sombrancelha é uma região horizontal escura em cima da região da íris. 3. Um óculos geralmente é uma região preta e com um formato parecido com o de um retângulo.

21 20 A clusterização e a rotulação das regiões permite identificar a região da íris mas ainda é necessário localizar o limite límbico (borda externa da íris que a separa da região da esclera) e a pupila. A localização é feita através da modelagem do limite límbico e da íris como dois círculos não concêntricos. A localização da pálpebra é difícil de ser feita devido à oclusões causadas pelos cílios e a sua forma irregular. Baseado na observação de que os cílios estão na vertical, um filtro de ordem de uma dimensão (com tamanho 7 e ordem 2) foi utilizado para reduzir ou até mesmo eliminar os cílios das imagens. Para localizar a pálpebra um modelo de curvatura é utilizado, sendo que, este modelo foi obtido através da análise manual das imagens de treino. O último passo consiste em remover as oclusões causadas por sombras, que são detectadas através de um modelo de predição baseado nas estatísticas de intensidade das diversas regiões da íris. 2.3 Localização de reflexos, limites da íris e limites da pálpebra O algoritmo descrito no artigo de Sankowski et al. [2] consiste em cinco passos: Localização de reflexos. Preenchimento de reflexos. Localização dos limites da íris. Localização do limite da pálpebra inferior. Localização do limite da pálpebra superior. Para localizar os reflexos, a imagem é convertida para uma imagem em nível de cinza no modelo de cor YIQ (luminance in-phase quadrant). Após esta conversão, um limiar é aplicado na imagem e, por último, o mapa dos reflexos, obtido com o uso do limiar, é melhorado através de transformações morfológicas como, por exemplo, dilatação e erosão. O passo de preenchimento de reflexos consiste em interpolar o valor das cores dos pixels vizinhos de fora da região do reflexo. Para cada pixel na região de reflexo, os quatro pixels (esquerda, direita, cima e baixo) mais próximos à ele, que estão fora da região de reflexo são obtidos. O novo valor do pixel que está sendo analisado é então calculado a partir da interpolação dos valores desses quatro pixels obtidos. A localização dos limites da íris é feita através do método integro-diferencial de Daugman [22], utilizando dois círculos não concêntricos. O limite externo da íris (limite límbico) é localizado através da imagem em nível de cinza, no modelo YIQ. O limite interno da íris é localizado na componente vermelha da imagem onde o preenchimento de reflexos foi calculado.

22 21 A Figura 8 mostra o processo de preenchimento de reflexos e localização dos limites da íris. (a) (b) Figura 8: (a) Imagem original. (b) Imagem com preenchimento de reflexos e limites da íris detectados. Imagens obtidas no artigo de Sankowski et al. [2]. Para a localização da pálpebra inferior foi utilizado o algoritmo de detecção de arestas proposto por Wildes [23]. Primeiramente, a imagem com o preenchimento de reflexos é suavizada com o uso combinado de um fitro de média para remover os ruídos do tipo "sal e pimenta" e um filtro gaussiano. Um filtro para detectar arestas horizontais é utilizado na imagem suavizada. À partir deste ponto, o limite da pálpebra inferior começa a ser procurado através do uso de diversos arcos com vários raios e posições. A localização da pálpebra superior foi feita através do conceito proposto por Zuo, Ratha e Connell [24] que modela os cílios superiores como um segmento de linha. 2.4 Detecção de íris através da combinação de pupila e íris O artigo escrito por Almeida [25] envolve uma sucessão de fases que lidam com o pré-processamento da imagem, localização da pupila, localização da íris, combinação da pupila com a íris, detecção dos cílios e remoção de reflexos. Na etapa de pré-processamento os reflexos são reduzidos através de um limiar da luminosidade do pixel. Após este passo, são construídas duas imagens: uma com as componentes azul e verde e outra com a componente vermelha da imagem. A imagem com a componente vermelha é utilizada como base para a segmentação da íris e a diferença entre a imagem com a componente vermelha e a imagem com as componentes azul e verde será utilizada para detectar regiões com maior preponderância da componente vermelha (ex.: pele). A localização da pupila é feita através de três métodos: o primeiro utiliza um retângulo de 50 pixels horizontais por 200 pixels verticais, onde é feita uma busca por uma

23 22 região escura que deve corresponder à pupila. O segundo método procura diversos quadrados escuros de diversas dimensões em toda a imagem e o terceiro método utiliza um grid de 15 pontos igualmente espaçados. Estes métodos são utilizados para posicionar sementes que tentarão encontrar um círculo escuro de um tamanho apropriado. A localização da íris é feita de maneira similar à localização da pupila. Após localizar as possíveis íris na imagem, o algoritmo possui um conjunto de possíveis pupilas e íris. Para todas as combinações possíveis de pupila e íris uma função heurística é usada para avaliar cada uma das possíveis combinações. A melhor combinação de pupila e íris informada pela função heurística é utilizada para a segmentação. 2.5 Localização do limite límbico No método descrito por Li et al. [26], o limite límbico é procurado através de dois algoritmos. O primeiro algoritmo retorna um valor de confiança da localização da íris e, caso esse valor de confiança seja menor que um limite pré-definido, o segundo algoritmo é utilizado para localizar o limite límbico. O primeiro algoritmo utiliza a técnica de AdaBoost [27] para localizar um olho na imagem, sendo que, o AdaBoost é um algoritmo que constrói um classificador forte à partir da combinação de classificadores fracos. Embora, em geral, o processo de aprendizado no AdaBoost seja lento, seu uso apresenta duas vantagens: detecção rápida e classificação eficiente. Se após esta etapa o olho não tiver sido localizado, toda a imagem será utilizada no próximo passo, caso contrário somente a região com a localização do olho será utilizada. O segundo passo consiste em clusterizar a imagem através do k-means para segmentar a região do olho. Após a segmentação, um detector de arestas é aplicado na imagem para obter um mapa de arestas que é utilizado na transformada de Hough para encontrar a circulos na região do olho. Todo o processo pode ser visto na Figura 9. Figura 9: Localização da íris utilizando clusterização k-means e transformada de Hough. Adaptado de Li et al. [26].

24 23 O segundo algoritmo proposto utiliza a informação sobre a pele para segmentar a imagem. Após a segmentação, os mesmo passos aplicados no primeiro algoritmo são seguidos. Após a utilização desses dois algoritmos, a melhor segmentação obtida entre eles é selecionado e então as pálpebras superior e inferior são localizadas através de um modelo de parábola, conforme pode ser visto na Figura 10. Figura 10: Localização das pápebras com modelo de parábola. Adaptado de Li et al. [26]. 2.6 Localização da íris através da busca de círculos e reflexos especulares No método descrito por Jeong et al. [28] a íris é localizada através da detecção das arestas de dois círculos e, para validar se esses dois círculos contém a região da íris, deve haver pele menos um reflexo especular dentro dessa região. Geralmente, os reflexos especulares aparecem na região da íris e da pupila e o nível de cinza deles são mais claros que os pixels da região da esclera, pupila e pele, já que a superfície da córnea reflete mais luz do que outras regiões. Se não for encontrada uma região de reflexo especular, o algoritmo assume que a localização da íris com base na detecção dos dois círculos falhou e tenta localizar a íris através do método AdaBoost. Após detectar a região com o olho através do método AdaBoost, a detecção das arestas de dois círculos é feita nessa região, como pode ser visto na Figura 11.

25 24 (a) (b) (c) Figura 11: Localização da íris utilizando AdaBoost: (a) detecção das arestas de dois círculos, (b) localização através do AdaBoost, e (c) detecção das arestas de dois círculos na região encontrada em (b). Adaptado de Jeong et al. [28]. Se, após estes passos, não for encontrada uma região de reflexo especular, então o algoritmo assume que o olho da pessoa está fechado. Caso contrário, as pálpebras são localizadas através de uma transformada de Hough parabólica, como pode ser visto na Figura 12. (a) (b) Figura 12: Localização das pálpebras com transformada de Hough: (a) imagem original e (b) resultado da localização. Adaptado de Jeong et al. [28]. Após a região da íris se localizada, a segmentação é feita através das cores da íris fazendo com que as regiões que não pertençam à iris (ex.: reflexos) sejam removidas do resultado final. A região inferior à pupila é utilizada para obter o padrão da íris, já que essa região sofre menos incidência de reflexo, enquanto que, as regiões laterais da íris sofrem mais incidência de reflexos por causa de janelas, como pode ser visto na Figura 13.

26 25 Figura 13: Exemplo de reflexo causado por janelas (demarcado em vermelho) e região utilizada para obter o padrão da íris (em branco). Adaptado de Jeong et al. [28]. O próximo passo é calcular a média das cores de cada canal RGB e, para cada pixel, calcular a distância entre a cor do pixel e a cor média obtida. Se essa distância estiver dentro de um limite, que foi calculado empiricamente através das imagens de treino, então o pixel pertence a região final à ser segmentada. 2.7 Segmentação de íris através da detecção da esclera Chen et al. [3] propuseram um novo método baseado na busca da esclera. A detecção da esclera é feita através do cálculo da saturação de cada pixel através do seu valor RGB, conforme a equação 2.1: S = 1 3 [min(r,g,b)] (2.1) (R+G+B) Através de algumas análises foi determinado que os valores de saturação que estão entre 0 e 0,21 representam a esclera. Com base neste limite da saturação, a esclera pode ser extraída da imagem, conforme a Figura 14. Figura 14: Exemplo de detecção de esclera com ruídos na imagem. Chen et al. [3]. Adaptado de O próximo passo do algoritmo consiste em identificar a área onde a íris está loca-

27 26 lizada, porém, é necessário remover regiões de pele clara e de reflexos na imagem da esclera. Essa remoção é feita para todos os pixels com saturação maior que 0, utilizando a média das cores dos pixels de uma máscara de 17 x 17, centtralizada no pixel sendo analisado. A imagem resultante é então binarizada através de um limiar e dois tipos de esclera podem aparecer nessa imagem: esclera dupla, como é mostrada na Figura 15 (a), e esclera única, mostrada na Figura 15 (c). A localizaçao da íris para escleras duplas é obtida à partir dos pontos extremos (cima, baixo, direita e esquerda) das duas regiões de esclera, e pode ser visto na Figura 15 (b). Em imagens com uma única região de esclera, não é possível saber para qual lado da esclera a íris está localizada. Um retângulo é criado com base nos limites extremos superior e inferior, enquanto o retângulo é extendido para o lado conforme a relação da distância entre a esclera e o limite lateral da imagem, isto é, quanto maior a distância entre a esclera e um dos lados da imagem, mais o retângulo será estendido nessa direção, conforme podemos ver na Figura 15 (d). (a) (b) (c) (d) Figura 15: Localização do olho à partir da esclera. (a) Esclera dupla, (b) localização da região do olho à partir da esclera dupla, (c) esclera única e (d) localização da região do olho à partir da esclera única. Adaptado de Chen et al. [3]. A borda externa da íris é detectada usando o método de transformação circular de Hough modificado para encontrar círculos na área onde a íris deve estar localizada, obtida nos passos anteriores, e o centro deste círculo não deve estar em uma região de esclera. Além disso, ao invés de usar um detector de arestas nas quatro direções foi utilizado um detector de arestas horizontais. Em seguida, é necessário detectar as pálpebras. Para lidar com os diversos ruídos que podem ocorrer, uma nova metodologia foi utilizada para identificar os pontos da borda localizado no limite entre a pálpebra e a íris. Primeiramente, a itensidade média dos níveis de cinza de uma região abaixo da pupila é calculada. Após este cálculo, raios são traçados à partir do centro do círculo em direção à borda e, para cada pixel desse raio, a sua intensidade em nível de cinza é comparada com a média obtida. Se a intensidade sendo comparada estiver fora do intervalo de ±10%, então este pixel é definido como sendo a borda da íris. Outra proposta do trabalho de Chen et al. [3] foi um novo método para verificar e corrigir a borda externa da íris. A nova estratégia consiste em verificar e corrigir a posição do centro do limite externo da íris, localizar a região, utilizar a transformada circular de Hough com diferentes pesos na região encontrada e verificar a confiança dos resultados com base no número de pontos da borda que pertençam à borda da íris.

28 No último passo, uma técnica de equalização de histogramas foi utilizada para melhorar o contraste entre a íris e a pupila. 27

29 28 3 Dicionário de Pontos Característicos No artigo de Csurka et al. [29] foi proposta uma nova metodologia de categorização visual chamada Dicionário de Pontos Característicos, ou Bag of Keypoints. Esta nova metodologia é baseada em uma técnica de categorização de texto chamada Bag of Words [30]. A ideia de se adaptar técnicas de categorização de texto para a área de visão computacional não é nova, Zhu et al. [31] investigaram a quantização vetorial de pequenas imagens quadradas, que foram chamadas de blocos-chave. Foi mostrado que a quantização vetorial produz mais resultados semânticos que os métodos baseados em análise de cores e texturas [29]. O método descrito no artigo de Csurka et al. [29] possui quatro passos fundamentais: Detecção e descrição de trechos da imagem Atribuição de descritores de trechos aos grupos pré-determinados (vocabulário) através de um algoritmo de quantização vetorial Construção de um conjunto de Keypoints, que sumariza o número de trechos associados aos grupos, ou seja, construir um dicionário de palavras Classificação de múltiplas classes, considerando o dicionário como um vetor de características, determinando em quais categorias a imagem deve ser classificada Os descritores obtidos no primeiro passo devem ser invariantes às condições que são irrelevantes para a tarefa de categorização (transformações nas imagens, como, por exemplo, a rotação e a translação) e ainda variações de iluminação e oclusões parciais, porém rico o suficiente em informações que discriminem a categoria na qual o trecho analisado pertence. O segundo passo deve conter um vocabulário do tamanho ideal para distinguir mudanças relevantes em partes das imagens e não distinguir mudanças irrelevantes que podem ocorrer como, por exemplo, ruídos. O objetivo principal deste algoritmo é utilizar um vocabulário (ou conjunto de características) que tenha um bom desempenho de categorização em um determinado conjunto de dados de treinamento. Os passos envolvidos no treinamento são: Detectar e descrever os trechos da imagem de um conjunto de imagens de treinamento

30 29 Construir um conjunto de vocabulários: cada um sendo o centro de um grupo, em relação aos descritores Extração dos bags of words desses vocabulários Treinamento dos classificadores (por ex: SVM) usando os bags of words como vetores de entrada Os resultados do trabalho de Csurka et al. [29] mostraram que essa nova técnica se mostrou eficaz em imagens que possuam um fundo complexo, neste caso a técnica se mostrou também robusta obtendo um alto grau de desempenho no processo de categorização sem explorar as informações geométricas contidas nas imagens. No trabalho realizado por Filliat [32] a técnica Bag of Keypoints foi utilizada no desenvolvimento de um sistema de localização e aprendizagem de mapas feitos por robôs. De acordo com o artigo, esta técnica se mostrou confiável e rápida para um robô reconhecer o ambiente em que ele se encontrava e ainda a técnica se mostrou estável após um longo tempo de uso. De acordo com Zhang et al., independentemende da classe da imagem, esta técnica proporciona uma alta taxa de acerto de categorização, como podemos ver na Tabela 1: Categorização Taxa de acerto Bicicletas 97,6% Livros 81,7% Construções 82,0% Carros 88,6% Faces 99,4% Telefones 94,0% Árvores 97,3% Tabela 1: Taxa de acerto de categorização com Bag of Keypoints A seguir apresentamos uma explicacão mais detalhada sobre cada uma das etapas da técnica de Bag of Keypoints. 3.1 Detecção e Representação de Pontos Característicos Existem diversos descritores capazes de detectar e representar características de objetos em imagens, entre eles podemos citar o SIFT e o SURF [34]. Basicamente o descritor SIFT procura pontos de interesse na imagem e os representa à partir de um conjunto de valores numéricos que são invariantes a mudanças em escala, iluminação e outras transformações geométricas. Estes pontos são chamados de pontos característicos, ou pontos invariantes.

31 SIFT O descritor denominado Scale Invariant Features Transform (SIFT) [35] é um dos descritores locais mais citados na literatura de visão computacional. Seu grande uso ocorre devido a sua propriedade de ser fortemente invariante às mudanças de escala, rotação, iluminação e ponto de vista [36]. O descritor SIFT [35] tem sido utilizado para o reconhecimento de objetos em ambientes onde podem existir oclusões parciais [37], localização de robôs e mapeamento de lugares [38], fotos panorâmicas, modelagem 3D, rastreamento, reconhecimento de gestos humanos, entre outros. O descritor SIFT foi criado para resolver o problema de correspondência entre imagens, e pode ser utilizado ainda para: reconhecer objetos em imagens, reconhecer cenas, montagem automática de mosaicos, correspondência estéreo, tracking, entre outras. O SIFT possui 4 etapas: Detecção de espaço de escala Localização de pontos característicos Atribuição de orientação aos pontos característicos Cálculo dos descritores dos pontos característicos O processo de determinação destes pontos característicos feitos pelo método SIFT baseia-se em sucessivos borramentos gaussianos, reduções de escala, e diferença de gaussianos. Os descritores dos pontos característicos obtidos através do método SIFT são um conjunto de 128 valores numéricos que representam o ponto característico, sendo que estes descritores não contém informações referente a escala, rotação, iluminação e ponto de vista. Podemos ver na Figura 16 um exemplo de uma imagem de íris processada usando o método SIFT para determinar pontos descritores na imagem (pontos verdes).

32 31 Figura 16: Exemplo dos pontos detectados pelo SIFT SURF A idéia do descritor SURF (Speed-Up Robust Features) [39] é semelhante à do descritor SIFT, porém o SURF é um descritor que consome menos tempo computacional para detectar e descrever pontos de interesse nas imagens. De acordo com seus autores o descritor SURF é mais rápido e mais robusto em relação a transformações geométricas do que o SIFT [39]. Além disso, o SURF também procura encontrar características que sejam invariantes à rotação e à escala. A motivação que levou a criação do SURF foi encontrar uma forma de diminuir o tempo computacional para detectar e descrever pontos de interesse nas imagens, sem sacrificar significativamente a eficácia em relação ao SIFT. Assim como o SIFT, o SURF representa o descritor de um ponto característicos atravé de um conjunto de valores numéricos, sendo que, por padrão, o SURF utiliza apenas 64 valores numéricos, porém, é possível utilizar um descritor SURF estendido com 128 valores numéricos, assim como no caso do SIFT. O SURF possui uma forma de detectar os pontos de interesse parecida com o descritor SIFT, exceto que, ao criar a pirâmide de imagens, o SURF utiliza o detector Fast Hessian sem fazer a redução de escala. O cálculo dos descritores baseiam-se no somatório das respostas senoidais de Haar de duas dimensões, calculados numa subregião de 4 x 4 em torno do ponto de interesse. Podemos ver na Figura 17 um exemplo de uma imagem de íris processada com o

33 32 descritor SURF e os pontos característicos encontrados (em verde). Figura 17: Exemplo dos pontos detectados pelo SURF 3.2 Dicionário de Pontos Característicos O dicionário de palavras é utilizado para aprender um modelo gerador [40] capaz de selecionar as regiões mais representativas do problema, de forma que o número de regiões selecionadas deve ser grande o suficiente para distinguir mudanças relevantes nas imagens, mas não tão grande a ponto de distinguir variações irrelevantes como ruído [41][29][36]. A criação desse dicionário de palavras geralmente se dá através do uso imagens de treinamento [42]. Além disso, dependendo da complexidade do problema, o número de palavras do dicionário varia, sendo que, a escolha das palavras é realizada através do uso de algoritmos de agrupamento como, por exemplo, o k-means. No caso do uso do método de k-means, cada centróide dos grupos encontrados são utilizados como palavras do dicionário. 3.3 K-means O algoritmo K-means é um algoritmo de agrupamento que, a partir de pontos escolhidos aleatoriamente, agrupa os dados existentes numa base de treinamento, particio-

34 33 nando então um conjunto de amostras em um determinado número de grupos. Para realizar o particionamento dos grupos, o algoritmo realiza os seguintes passos: 1. Seleciona K centros de massa aleatoriamente. 2. Atribuição: atribui cada amostra ao grupo com o centro mais próximo 3. Atualização: atualiza os centróides de cada grupo 4. Verifica uma condição de parada, se a condição for alcançada o processo para, senão retorna ao passo 2. Note porém que, centróides iniciais diferentes podem fazer com que a divisão final seja diferente. A atribuição de cada amostra à um grupo é feita através do cálculo da distância entre a amostra e o centróide do grupo. Esse cálculo pode ser feito através, por exemplo, da distância Euclidiana entre a amostra e o centróide. O cálculo dos novos centróides dos grupos pode ser feito de diversas maneiras, sendo que a forma mais comum é calcular um ponto fictício que seja a média das amostras do grupo. Outra forma de se calcular um novo centróide é encontrar uma amostra no grupo que possua a menor média das distâncias para as demais amostras do grupo (a mais próxima do centróide). Após diversas iterações algoritmo descrito acima o algoritmo converge, isto é, as amostras não mudam mais de grupos. Esta convergência pode levar muito tempo, então alguns critérios de teste de convergência são estabelecidos para que o algoritmo termine mais rápido. Os critérios de convergência podem ser o número de iterações do algoritmo, ou que a quantidade de amostras que mudam de grupos sejam menor do que uma porcentagem definida. 3.4 Classificador SVM O SVM (Support Vector Machine) [43] é uma técnica de aprendizagem para problemas de classificação entre duas classes. É um método sistemático, reproduzível, e baseado na teoria de aprendizado estatística. O algoritmo funciona mapeando um vetor de entrada definido em um espaço de muitas dimensões para duas saídas possiveis. O processo de aprendizagem consiste em aprender um hiperplano capaz de separar os vetores de entrada em dois grupos. De maneira simples podemos dizer que o SVM separa linearmente as amostras de um problema através de um hiperplano [44]. Através de um processo de encadeamento o SVM pode ser utilizado como um classificador de multi-classes [45], possibilitando assim a classificação de dados em diversos grupos.

35 34 4 NICE.I A segmentação de íris é uma etapa importante no processo de reconhecimento de íris. O problema da segmentação é que as imagens podem apresentar diversos tipos de ruídos, tais como oclusões, ruídos de captura, ângulos de visão, etc. Devido à importância deste problema, a Universidade da Beira Interior, em Portugal, criou no período de Julho de 2007 à Dezembro de 2008 uma disputa mundial de segmentação de íris chamada NICE.I (Noisy Iris Challenge Evaluation) [1]. A idéia desta disputa era avaliar o desempenho de diversos algoritmos de segmentação de íris enviados pelos participantes. Boa parte das imagens das íris foram obtidas com close-up e em um ambiente cooperativo e sem restrição de movimentação e a iluminação utilizada no ambiente era adequada para o tipo de tarefa sendo executada. Além disso, as íris das imagens poderiam estar obstruídas por qualquer tipo de ruído (ex: obstrução causada pelos cabelos, cílios, óculos, etc). A UBIRIS.v1, base de dados criada para o evento, foi contruída com 1877 imagens coletadas de 241 pessoas diferentes em duas sessões de fotos. Na primeira sessão, os ruídos foram minimizados, principalmente os ruídos causados por reflexão especular, luminosidade e contraste, utilizando uma sala escura para obter as imagens. Na segunda sessão, a sala foi substituída por outra onde havia iluminação natural. Esta troca de sala causou um aumento no ruído das imagens, fazendo com que os ruídos como reflexão especular, contraste, luminosidade e problemas de foco fossem mais comuns nas imagens obtidas nesta sessão. As imagens da segunda sessão simularam as imagens capturadas por sistemas reais de reconhecimento com ou sem participação dos indivíduos no processo de aquisição da imagem. A base de imagens utilizada no NICE.I foi a UBIRIS.v2, que é uma versão atualizada da base de imagens UBIRIS.v1 [46]. Esta base foi desenvolvida devido às diversas críticas sobre o realismo dos ruídos das imagens que foram descritas na literatura, sendo que esta base possui mais de imagens. As imagens foram obtidas em um ambiente sem restrição, a uma distância entre 3 e 10 metros, com o indivíduo em movimento e com ondas visíveis (luzes que o olho do ser humano é capaz de ver), que corresponde a um ambiente mais realista de aquisição de imagens de íris. O principal propósito da UBIRIS.v2 foi gerar uma nova ferramenta capaz de avaliar a viabilidade do reconhecimento de íris com imagens utilizando ondas visíveis e longe das condições ideais de aquisição das imagens. A Figura 18 possui imagens da base UBIRIS.v2, onde podem ser vistos diversos tipos de oclusões e ruídos que podem ocorrer no processo de captura da imagem da íris.

36 35 Figura 18: Exemplos de oclusões e ruídos, onde podem ser vistas oclusões causadas por cílios, pálpebras, óculos e cabelos, reflexos especulares e imagem capturada com ângulo de visão oblíquo. No NICE.I todos os algoritmos foram avaliados com relação à taxa de erro na classificação. Este erro é determinado conforme mostrado nas equações abaixo: Seja I = {I 1,I 2,...,I n } as imagens das íris. Seja O = {O 1,O 2,...,O n } as imagens geradas pela saída do algoritmo. Seja C = {C 1,C 2,...,C n } as imagens binárias das íris (isto é, uma imagem em preto e branco, no qual os pixels pretos marcam os pixels que representam a íris na imagem), classificadas manualmente pela equipe do NICE.I. Devemos assumir que as imagens do conjunto C são as imagens que contém a segmentação perfeita de cada imagem do conjunto I. O tipo de segmentação esperada pelos algoritmos enviados ao NICE.I podem ser vistos na Figura 19:

37 36 Figura 19: Exemplo da segmentação desejada A taxa de erro da classificação do algoritmo para a imagemi i é dada pela proporção dos pixels classificados incorretamente sobre a quantidade de pixels da imagem, como pode ser visto na equação 4.1. E i = FP +FN largura altura (4.1) Onde FP e FN são respectivamente os pixels considerados como falsos positivos e falsos negativos da saída do algoritmo. A taxa de erro da classificação E 1 do algoritmo é a média dos erros E i das imagens de entrada como pode ser visto na equação 4.2. E 1 = 1 E i (4.2) n i O valor E 1 está limitado no intervalo entre 0 e 1 e representa a porcentagem média de erro de classificação, onde 0 e 1 representam respectivamente o melhor e o pior resultado possível. Esta medida de erro foi utilizado no NICE.I para classificar o desempenho dos algoritmos enviados à disputa. Uma segunda medida de erro foi utilizada para compensar a desproporção entre os pixels que representam a íris e os pixels que não representam íris nas imagens. A taxa de erro E i de uma imagem é dada através da média das taxas entre os falsos positivos (FPR) e os falsos negativos (FNR) e é calculada pela equação 4.3. E i = FPR+FNR 2 (4.3) Similarmente à taxa de erro E 1, a taxa de erro E 2 é calculada através da média dos erros E i das imagens de entrada, como pode ser visto na equação 4.4.