PALMBORD Identificação Biométrica pela Palma da Mão Carlos Eduardo Del Vecchio, Cristiano Donizete Ferrari 1, João Zoli Neto e Osvaldo Severino Junior 2 Instituto Federal de São Paulo campus Catanduva 1. cferrari@ifsp.edu.br 2. osvaldo.severino@ifsp.edu.br Abstract This work presents a new edge detecting method based on palm. The edge detection is a computer vision technique used to identify discontinuity points of a digital image. The discontinuity points are represented by the sudden change in brightness level of image pixels in gray level values (between 0, represented by the color black, and 1, represented by white). The edge detection method implemented in this work utilizes the brightness difference of the gray image level obtained by the HSM color model (hue, saturation and the color mixture) and the RGB color model (red, green and blue colors). The new methodology implementation is distinguished by its simplicity. The new methodology was tested and showed a high performance when used in biometric identification by hand geometry in a retrieval system for content-based image (palm). Thus, this new proposal becomes a valuable tool for computer vision to extract features for image retrieval systems based on content. 1. Introdução A Visão Computacional envolve a identificação e a classificação de objetos em uma imagem, desta forma, é definida pela automatização e a integração de processos e representações usadas para a percepção visual. Os processos da Visão Computacional abrangem, em geral, uma visão em baixo nível, representada pelo préprocessamento da imagem, uma visão em nível intermediário, representada pela extração de características e uma visão em alto nível, representada pelo reconhecimento e interpretação de objetos. A detecção de bordas é uma técnica da visão computacional utilizada para a identificação de pontos de descontinuidade de uma imagem digital. A descontinuidade é representada pela alteração repentina no nível de luminosidade dos pixels de uma imagem em nível de cinza [1]. A detecção de borda é bastante usada na área de extração de características. Verifica-se, também, que a sua utilização reduz significativamente a quantidade de dados a serem processados, mas preserva importantes propriedades estruturais de uma imagem. Entretanto, a detecção pode ser prejudicada por bordas falsas criadas por ruídos (pontos indesejáveis) na imagem provenientes da digitalização ou processo de captura da imagem. A maioria dos algoritmos de detecção de bordas utiliza uma máscara sobre os pixels da imagem para a verificação de uma descontinuidade. Cada pixel e seus pixels vizinhos têm o seu valor de nível de cinza multiplicado por uma constante. A soma destes valores representa a máscara de resposta daquele ponto. Ao mesmo tempo, verifica-se que com o advento tecnológico surge um mecanismo de identificação que usa características biológicas únicas e mensuráveis de uma pessoa, a Biometria. O diferencial desta nova metodologia em relação às formas tradicionais, como a senha ou o cartão, é que não se pode perder ou esquecer as características biométricas. Verifica-se que a Geometria da Mão é uma das técnicas biométricas mais rápidas, pois se baseia nas medidas da mão, como a forma e o tamanho da palma e, o comprimento e a largura dos dedos do usuário [2]. Ideal para ambientes onde o acesso a áreas restritas necessita ser rápido e seguro como, uma vez que a identificação pela geometria da mão não necessita do uso de equipamentos específicos, como no caso da impressão digital, mas apenas de uma câmera digital e um software que execute a operação de reconhecimento. Dessa forma, a proposta precípua deste trabalho é a apresentação de um novo método de detecção de bordas da palma da mão. Para demonstrar a sua aplicabilidade foi implementada uma aplicação CBIR (Content-Based Image Retrieval Recuperação de Imagens Baseadas em Conteúdo)[3] para identificação biométrica pela geometria da mão através das características extraídas do detector de bordas proposto. Os resultados obtidos demonstram o potencial dessa nova metodologia em relação às tradicionais quanto à velocidade de processamento e a detecção de bordas em sistemas de reconhecimento biométrico CBIR. O trabalho está estruturado da seguinte forma: na próxima seção serão apresentadas as características dos sistemas de reconhecimento biométrico, a seguir serão discutidos os modelos de cores utilizados; na seção detecção de bordas serão discutidos os métodos tradicionais aplicados nas literaturas atuais, na seção Metodologia será mostrado o processo de aquisição das imagens e a extração de características e descrição do sistema CBIR baseado no reconhecimento da geometria da mão; a seguir serão analisados os resultados obtidos e por último será abordado a conclusão sobre a metodologia implementada neste trabalho.
2. Reconhecimento Biométrico O reconhecimento biométrico [2,4] ocorre em duas fases: registro e reconhecimento. Na primeira fase o usuário é registrado no sistema através da extração das suas características biométricas, realizadas por sensores específicos, as quais são convertidas por algoritmos matemáticos num template (modelo) e da associação de um PIN Personal Identification Number (Número de Identificação Pessoal). Na segunda fase ocorre o reconhecimento, onde o usuário apresenta-se para a extração das suas características biométricas que são denominadas live scan (amostra), que são comparadas e validadas com o modelo armazenado. O método de reconhecimento pela identificação ou verificação tem como objetivo responder a pergunta: Quem sou eu? Inicialmente, extrai-se uma amostra das características biométricas do usuário que pretende ser identificado pelo sistema. Após, recupera-se o modelo mais similar à amostra e se realmente existir um modelo similar à amostra o sistema responderá que o usuário foi identificado e diz quem é a pessoa, caso contrário, responderá que o usuário não é identificado e não consegue dizer quem é a pessoa. Neste trabalho utilizouse o método Range Query (consulta por abrangência) onde os modelos cuja distância em relação à amostra for menor que R, são recuperados da base. Em um processo de classificação podem ocorre dois tipos de erros [5] na comparação do modelo com a amostra: erro da falsa aceitação FM (false match), onde mesmo que a amostra seja diferente do modelo, o sistema classifica-a como igual, aceitando-a; erro da falsa rejeição FNM (false no match), onde mesmo que a amostra se mostre similar ao modelo, o sistema não a classifica. Portanto, cada tipo de sistema biométrico possui um dispositivo eletrônico e um programa de computador específico para obter o melhor desempenho. O principal componente deste conjunto é o programa de computador, pois este é responsável pela comparação ou recuperação das amostras com os modelos armazenados e verificar se a amostra está dentro da margem de erro adotada pelo sistema ou se ela não é válida. 2.1. Características Biométricas A identificação Biométrica pode ser feita através de características físicas ou comportamentais. As características físicas mais utilizadas são: impressão digital, face, geometria da mão, íris, retina, veias das mãos e voz. As características comportamentais mais exploradas incluem a voz, a assinatura digital e a dinâmica da digitação. As características biométricas conseguem garantir a autenticidade de uma pessoa com uma pequena margem de erro. Embora copiar uma característica biológica seja difícil é ainda, hoje, possível enganar os dispositivos de identificação biométrica [6]. 2.2. Geometria da Mão A Geometria da Mão é uma das técnicas biométricas mais rápidas, pois se baseia nas medidas da mão, como a forma e o tamanho da palma e, o comprimento e a largura dos dedos do usuário. Ideal para ambientes onde o acesso a áreas restritas necessita ser rápido e seguro como, por exemplo, no controle de acesso de funcionários de uma empresa. A Figura 1 mostra um sistema de identificação por Geometria da Mão composto por uma fonte clara, uma câmera, um espelho e uma superfície com cinco pinos. O usuário que deseja ser identificado digita um número único (número de funcionário, número de matrícula ou outro) e, em seguida, posiciona a palma da mão direita para baixo na superfície plana do dispositivo. Este possui cinco pinos que indicam onde cada dedo deve ficar posicionado. Com isso, a posição da mão sempre vai ser a mesma. Figura 1. Identificação pela Geometria da Mão [7]. 3. Modelos de Cores Baseando-se na Teoria dos Três Estímulos, é imediato verificar que qualquer modelo de cor deverá possuir três parâmetros. O problema essencial da modelagem de cor está na definição de que grandezas devem ser associadas a cada um dos três parâmetros. Esta escolha origina a existência de vários sistemas de cor sendo influenciados pela natureza dos dispositivos gráficos. 3.1. Modelo de cor RGB O modelo RGB (Red Green Blue) é um modelo de cor concebido com base nos dispositivos gráficos com as três cores primárias: vermelho, verde e azul. Este modelo descreve as cores como o resultado da adição das três cores primárias, cada uma delas com uma intensidade que pode variar entre 0 e 1. O valor 1 corresponde à intensidade máxima com que a cor pode ser apresentada no dispositivo gráfico e o valor 0 à intensidade mínima. A
diagonal principal do cubo, que tem a contribuição de forma igual das três cores primárias, forma os tons de cinza[8]. As imagens provenientes das câmeras fotográficas digitais têm este modelo de cor como padrão. 3.2. Modelo de cor HSM O modelo de cor HSM (Hue Saturation Mixture) [9] é mais intuitivo que o modelo RGB. Com estes parâmetros, o modelo HSM aproxima-se muito do modelo que emprega os conceitos qualitativos de matiz, luz e tonalidade (Figura 2). A matiz (Hue) é definida por um ângulo entre 0 (H=0) e 360 (H=1) graus. A saturação (Saturation) é a profundidade ou pureza da cor e tem como medida a sua distância radial em relação ao eixo central com valores normalizados entre 0 e 1. O parâmetro M (Mixture), calculado pela equação: 4R + 2G + B M = 7 que corresponde à intensidade da mistura de cores e varia entre intensidade nula 0, ou seja, cor negra e intensidade máxima 1, ou seja, cor branca. Se a saturação estiver em zero (S=0), qualquer valor ao longo do eixo central (intensidade da mistura de cores) irá do preto (M=0) ao branco (M=1) passando pelos tons de cinza. Para qualquer valor de intensidade da mistura de cores e de matiz o valor da saturação varia do seu mínimo para o máximo e a mudança visualizada sai de uma cor mais escura (com mais preto) e vai para a forma mais pura da cor representada pelo valor da matiz. Figura 2. Modelo de cor HSM. 4. Detecção de Bordas Borda é definida por uma mudança repentina do nível de cinza, ou seja, ocorre uma descontinuidade na intensidade. Dessa forma, a descontinuidade pode ser percebida quando a gradiente da imagem tem uma variação abrupta. Um operador de derivada permite verificar a percepção dessa alteração. Uma interpretação de uma derivada em imagens em nível de cinza reflete a taxa de mudança dos níveis de cinza da imagem [1]. Essa taxa é maior quando ocorre perto das bordas e menor em áreas constantes da imagem. Verificando os valores de intensidade da imagem e encontrando os pontos onde a derivada é um ponto de máximo, detecta-se as suas bordas. Os detectores de bordas mais utilizados na literatura são: Roberts, Prewitt e Sobel. 5. Metodologia A implementação da proposta precípua deste trabalho é definida por três etapas: i) a aquisição das imagens, ii) a extração de características e iii) a descrição do sistema CBIR[3] baseado no reconhecimento da geometria da mão. 5.1. Aquisição das imagens Para a aquisição da imagem da palma da mão de uma pessoa, foi construída uma caixa de chapa de metal 0.5 mm pintada internamente de branco e externamente de preto. A caixa possui uma base de 27x30 cm e 32 cm de altura com uma abertura na face frontal (Figura 3-a). A pessoa introduz a palma da mão pela abertura frontal da caixa e posiciona-a sobre a base forrada com uma cartolina EVA preta. A imagem é capturada por uma webcam LifeCam NX-6000 da Microsoft (resolução de 7.6 megapixels para fotografias com uma lente angular grande com campo de 71º) posicionada internamente no teto da caixa. Para obter uma melhor qualidade da imagem capturada foram utilizados leds posicionados nos cantos do teto da caixa, para garantir uma luminosidade homogênea em todos os lados da caixa, sem a formação de sombra e brilho causados pelo reflexo do flash da câmera. O dispositivo, também, possui 5 pinos fixos na base que desempenham o papel de travamento da palma da mão, não permitindo deslocamentos e assegurando o mesmo posicionamento para todas as imagens capturadas pela webcam. Para efetuar a extração de características para o sistema CBIR baseado no reconhecimento pela geometria da mão, implementou-se um novo método de detecção de borda denominado PALMBORD e partir deste, extraiu-se
as medidas que definiram o vetor característica para o sistema. Figura 3. Dispositivo criado para a aquisição da imagem. a) Visão geral. b) Detalhe da base para posicionamento da palma da mão. 5.2. Extração de características 5.2.1. Detecção de Borda Realizada a captura da imagem da palma da mão, a imagem é convertida em nível de cinza no modelo RGB pela equação: R + G + B cinza = 3 após, a mesma imagem foi convertida em nível de cinza no modelo HSM pela equação: 4R + 2G + B M = 7 Na Figura 4, nota-se uma diferença de luminosidade na imagem em nível de cinza obtida pelo modelo RGB e pelo modelo HSM. A imagem convertida no modelo HSM apresenta uma maior luminosidade, ou seja, possui um nível de cinza maior quando comparada com a mesma imagem obtida pelo modelo RGB. Verificou-se que a diferença entre a imagem obtida pelo HSM e a imagem obtida pelo RGB segmentava a palma da mão (Figura 4- b). Identificou-se que os pontos da imagem diferença que apresentavam nível de cinza igual a 5 (nível de cinza da imagem obtido pelo modelo HSM nível de cinza da imagem obtido pelo modelo RGB = 5) definiam a borda da palma da mão. Enquanto que os pontos da imagem diferença que apresentavam nível de cinza maior ou igual a 5 (nível de cinza da imagem obtido pelo modelo HSM nível de cinza da imagem obtido pelo modelo RGB >= 5) definiam a área da palma da mão. Dessa forma, definiu-se um novo método de detecção de borda denominado PALMBORD que utiliza a diferença de luminosidade em nível de cinza entre as imagens obtida pelo modelo HSM e pelo modelo RGB (Figura 5). Figura 4. Captura da imagem. a) Imagem original. b) Imagem diferença. c) Imagem em nível de cinza obtida pelo modelo RGB. d) Imagem em nível de cinza obtida pelo modelo HSM. Figura 5. Segmentação de imagens. a) Imagem original. b) Imagem borda. c) Imagem área. O valor 5 foi obtido pela curva ROC (Receiver Operating Characteristic) [5] que expressa a curva obtida pelos pontos de FMR(t) e FNMR(t), onde: FMR indica a probabilidade de falsa aceitação (false match rate), FNMR indica a probabilidade de falsa rejeição (false no match rate) e t os valores de threshold (diferença de luminosidade obtida entre os modelos HSM e RGB). A Figura 6 ilustra a curva ROC para o reconhecimento da borda e área da palma da mão, tal que, para t=5 o valor FMR(5) é igual a FNMR(5) que indica a mesma probabilidade de ocorrer os erros de falsa aceitação e de falsa rejeição. 5.2.2. Vetor Característica Realizada a detecção de borda da palma da mão pelo PALMBORD, são capturadas duas imagens: i) imagem de borda e ii) a imagem da palma da mão. Ambas as imagens são subdividas em 19 partes iguais denominadas quadrantes (ver Figura 7). Obtidas as imagens, definiramse as medidas (quantidade de pixels de cor branca), como características pertinentes ao sistema CBIR, formadas por 40 valores:
a) Comprimento da borda da palma da mão presente no figura (1 valor), b) Comprimento da borda da palma da mão presente no quadrante (19 valores), c) Área da palma da mão presente na figura (1 valores), d) Área da palma da mão presente no quadrante (19 valores). onde o usuário apresenta-se para a extração das suas características biométricas (vetor com 40 valores) que são denominadas amostras, que são comparadas e validadas com o modelo armazenado. O mecanismo de comparação implementado consiste em calcular a menor distância City-Block entre o vetor característica da amostra com o vetor característica de cada modelo, armazenado anteriormente, num gerenciador de banco de Dados. Neste trabalho adotou-se o gerenciador Relacional MSSQL (Microsoft SQL Sever) com acesso sequencial. 6. Resultados Figura 6. Curva ROC para o reconhecimento da borda e área da palma da mão. Figura 7. Extração de características. a) Borda da palma da mão (1 valor). b) Área da palma da mão (1 valor). c) Divisão de quadrantes da borda da palma da mão (19 valores). d) Divisão de quadrantes da área da palma da mão (19 valores). 5.3. Sistema CBIR baseado na geometria da mão O sistema CBIR implementado é constituído de duas fases. Na primeira fase o usuário é registrado no sistema através da extração das suas características biométricas (vetor com 40 valores) que definem um modelo associado a um PIN. Na segunda fase ocorre o reconhecimento, Para avaliar o desempenho do PALMBORD foi definido um banco de imagens da palma da mão de 50 pessoas (homens e mulheres). Inicialmente, detectou-se as borda da palma da mão utilizando a metodologia proposta neste trabalho, o PALMBORD. Após, detectaram-se as bordas da palma da mão utilizando os detectores mais utilizados na literatura: Roberts, Prewitt e Sobel (Figura 8). Verifica-se que as bordas referentes à base de cartolina EVA preta e as laterais da caixa pintadas de branco não foram identificadas pelo PALMBORD, enquanto os demais detectores a identificaram. Como o objetivo deste trabalho era segmentar apenas a borda da palma da mão, este resultado inicial foi um ganho no desempenho da metodologia que conseguiu eliminar algo indesejado sem haver nenhum tipo de processamento específico para isto. Para comprovar o desempenho obtido, com a utilização da nova metodologia, foi calculado o índice de mérito de Pratt [10], definido por: N F pratt = 1 N 1 ( 2 i= 1 1+ αd ) onde N é o numero de distâncias usadas, d i é a distância entre dois pontos correspondentes e α é um parâmetro associado ao tamanho da borda. Para obter o índice de mérito de Pratt, foi necessário identificar qual seria realmente a borda de cada palma da mão. Portanto, foram obtidas as borda de cada palma da mão de forma manual utilizando o software Adobe Photoshop CS4 definindo como a imagem ground truth de cada palma da mão (Figura 8-f). A imagem ground truth foi obtida, inicialmente, a partir da imagem diferença HSM RGB (Figura 9-a). A seguir foi realizado um processamento de binarização na imagem diferença com valor de threshoud maior que zero (Figura 9-b). Após, aplicou-se o filtro Find Edge do software Adobe Photoshop CS4 (Figura 9-c). Finalmente, aplicou-se uma função de inversão na imagem, tal que o i
pixel de cor branco tornou-se um pixel de cor negra e vice-versa (Figura 9-d). obtida pelo filtro Find Edge do Photoshop. d) Imagem inversão de nível de cor. O desempenho de cada metodologia utilizada (Palmbord na cor azul, Sobel na cor vermelha, Prewitt na cor magenta e Roberts na cor preta) pode ser apreciado na Figura 10. A metodologia proposta obteve em média um índice superior a 85% de detecção de borda da palma da mão, enquanto as metodologias Sobel e Prewitt obtiveram igual desempenho, inferior a 70%. Já a metodologia Roberts obteve um desempenho inferior a 60%. Figura 8. Detecção de bordas. a) Imagem original. b) Imagem obtida pelo PALMBORD. c) Imagem obtida pelo detector Roberts. d) Imagem obtida pelo detector Prewitt. e) Imagem obtida pelo detector Sobel. f) Imagem Ground truth. Figura 10. Comparação de desempenho das metodologias. Figura 9. Obtenção da imagem ground truth. a) Imagem diferença. b) Imagem binarizada. c) Imagem Para verificar o desempenho do sistema CBIR baseado no PALMBORD, o mesmo foi submetido ao reconhecimento de 4800 pessoas que participaram de uma feira de tecnologia na cidade de São Paulo no mês de outubro no ano de 2011. O sistema ficou ativo no período de 3 dias, sendo que a feira iniciava as atividades as 08h00 e finalizava as 22h00. Verificou-se, que durante o período de visitação da feira, participaram pessoas do sexo masculino e feminino na faixa etária entre 14 a 54 anos, dentre as quais se destacam pessoas: com tatuagem, que utilizavam anéis discretos e extravagantes, que possuíam as unhas pintadas com diversas cores, com bases nas unhas, que apresentavam uma unha de cada cor e pessoas que tinham aplicado algum tipo de creme estético sobre as mãos. O sistema proposto apresentou um índice de 99,2% de sucesso no reconhecimento das pessoas que visitaram a feira. Destacam-se, pessoas que visitaram a feira mais do que um dia e que foram
submetidas ao processo de reconhecimento e o mesmo obteve sucesso. 7. Conclusões Concluiu-se que o método PALMBORD obteve um desempenho superior, comparado aos detectores de borda, conforme o gráfico apresentado na Figura 10. De modo que o mesmo atingiu um índice superior a 85% de precisão enquanto os outros não ultrapassaram 70%, além disso, o modo de processamento da imagem é muito mais simples do que os detectores de Roberts, Prewitt e Sobel. Neste trabalho analisou-se também que o PALMBORD quando utilizado em um sistema CBIR, baseado no reconhecimento biométrico da borda e área da mão, obteve um índice de sucesso de 99,3%. Verificou-se, que durante o processo de reconhecimento, ocorrido numa feira de Tecnologia, houve uma maior dificuldade, que em alguns casos causou um erro no reconhecimento biométrico, no reconhecimento de pessoas que haviam aplicado algum tipo de creme estético nas mãos. A aplicação do creme dificultou a segmentação da borda e a área da palma da mão, pois apresentou um reflexo do flash da câmera de aquisição da imagem em lugares isolados da palma da mão. O uso de tatuagem e até mesmo de anéis, não prejudicou o processo de reconhecimento, pois no caso de anéis foi solicitado que os mesmos refizessem o reconhecimento sem a utilização do mesmo. Verificou-se que em 95% dos casos de pessoas que utilizavam as unhas pintadas não houve problema no reconhecimento. Apesar de ser realizado um teste no qual no primeiro dia, a pessoa apresentou-se com as unhas pintadas e no segundo dia, a pessoa refez o processo de reconhecimento sem a pintura das unhas, e o sistema obteve sucesso no reconhecimento biométrico da pessoa. Dessa forma, o método de detecção de borda PALMBORD desenvolvido será de grande valia na visão computacional no processamento de imagens para a extração de características e aplicadas em sistema CBIR, que permitem a recuperação de imagens baseadas por conteúdo. Além disso, o sistema implementado agregado ao protótipo desenvolvido constituí num produto que poderá futuramente ser comercializado para o acesso á áreas restritas, como por exemplo, um sistema de ponto eletrônico. Technology, Special Issue on Image- and Video-Based Biometrics, n. 14, n. 1, 2004. [3] SMEULDERS, A. W. M.; WORRING, M.; SANTINI, S.; GUPTA, A.; JAIN, R. Content-Based Image Retrieval at the End of the Early Years. IEEE Transactions on Pattern Analysis and Machine Intelligence, v. 22, n. 12, p. 1349-1380, 2000. [4] WAYMAN, J. L. Fundamentals of Biometric Authentication Technologies. International Journal of Image and Graphics, v. 1, n. 1, p. 93-113, 2001. [5] MALTONI, D.; et al. Handbook of Fingerprint Recognition. New York: Springer, 2003. [6] PRABHAKAR, S.; PANKANTI, S.; JAIN, A. K. Biometric Recognition: Security and Privacy Concerns. IEEE Security and Privacy Magazine, v. 1, n. 2, p. 33-42, 2003. [7] VIGLIAZZI, D. Biometria: Medidas de Segurança, 2ª ed. Florianópolis: Visual Books, 2006. [8] GONZALEZ, R. C.; WOODS, R. E.; EDDINS, S. L. Digital Image Processing using Matlab. Pearson Education, 2004. [9] SEVERINO JR, O.; GONZAGA, A. A new approach for color image segmentation based on color mixture. Machine Vision and Applications. DOI 10.1007/s00138-011-0395-z [10] ABDOU, I. E., PRATT, W. K. Quantitative Design and Evaluation of Enhancement / Thresholding Edge Detectors, Proceedings of IEEE, vol. 67, no. 5, pp. 753-763, 1979. 8. Referências Bibliográficas [1] GONZALEZ, R. C.; WOODS, R. E. Digital Image Processing. Massachusetts: Addilson-Wesley, 1993.. [2] JAIN, A. K.; ROSS, A.; PRABHAKAR, S. An Introduction to Biometric Recognition. IEEE Transactions on Circuits and Systems for Video