Avaliação do Desempenho de Sistemas de Reconhecimento de Impressões Digitais

Transcrição

1 Avaliação do Desempenho de Sistemas de Reconhecimento de Impressões Digitais Evandro Luiz de Xerez Vieiralves 1, Cícero Ferreira Fernandes Costa Filho 2 1 Fundação Centro de Análise Pesquisa e Inovação Tecnológica (FUCAPI) 2 Universidade do Amazonas Núcleo de Tecnologia Eletrônica e da Informação (NUTELI) Resumo - Neste trabalho foi desenvolvida uma metodologia para avaliar o desempenho de sistemas biométricos utilizados para o reconhecimento de indivíduos, a partir do código de suas impressões digitais, considerando as influências das categorias etnia, faixa etária, sexo e tipo de atividade manual. A metodologia foi utilizada para avaliar dois sistemas biométricos, utilizando-se uma amostra constituída por 504 indivíduos, distribuídos com representação significativa em diversas classes das categorias especificadas. Os dois sistemas foram submetidos a várias seções de testes e medidas as suas taxas de Falsa Aceitação e Falsa Rejeição, em cinco limiares distintos de operação. Para avaliar a dependência estatística dos resultados obtidos com as classes de uma mesma categoria foram aplicados testes de significância. Foi desenvolvido um software aplicativo que permitiu a avaliação dos sistemas com base na metodologia proposta. Comparou-se o desempenho de ambos os sistemas através da utilização da curva de ROC (Receiver Operating Characteristic). Palavras-chave: Impressão Digital, Metodologia, Avaliação de Desempenho de Sistemas Biométricos. Abstract - This work develops a methodology for evaluating the performance of biometric systems for people recognition, based on fingerprint code. It considers the influences of the following categories: ethnic characteristics, age range, gender and profession. The methodology was used for evaluating two biometric systems, considering a sample of 504 people. Each one of the specified categories was significantly represented and distributed in classes. Both systems were submitted to a set of tests, and their False Acceptance and False Rejection rates were measured in five different thresholds. An application software was developed in order to make possible the evaluation of these systems. The results obtained were used for analysis of the statistical influences of several classes and for considerations about the performance of each system, including a comparison between them using the ROC curves (Receiver Operating Characteristic). Key-words: Fingerprint, Methodology, Software, Performance evaluation of biometric systems. Introdução Nos últimos anos, o acelerado desenvolvimento da área de biometria possibilitou a obtenção de métodos seguros de identificação automática de indivíduos. Os três métodos de identificação mais utilizados atualmente, reconhecimento do padrão de íris, reconhecimento de impressões digitais e reconhecimento de geometria da mão, apresentam valores de taxas de falsa aceitação (FAR False Acceptance Rate) de 1/ , 1/ e 1/10.000, respectivamente, e de taxas de falsa rejeição (FRR False Rejection Rate) de 3/100, 3/100 e 1/ , respectivamente (Miller, 1994). O reconhecimento do padrão da íris é, dentre os três métodos citados, o mais seguro e também o mais difícil de ser falsificado. O método de reconhecimento de impressões digitais é o método de identificação mais antigo e o que exige uma maior quantidade de memória para o padrão armazenado. Enquanto o padrão da íris requer 256 bytes para armazenamento e o padrão da geometria da mão exige 9 bytes, o padrão de impressão digital requer 1.5 Kbytes. Dentre as aplicações atuais dos métodos automáticos de identificação de indivíduos citamos: acesso a instalações militares, acesso a terminais de atendimento bancário, controle de visitantes em penitenciárias, acesso a redes de computadores, acesso de pacientes a centros de tratamento com dias pré-marcados, etc. O escopo desse trabalho foi verificar o desempenho de dois dispositivos de verificação de impressões digitais. Por solicitação de uma empresa de automação bancária, averiguou-se, em primeiro plano, se os dispositivos atingiam a taxa de falsa aceitação supracitada de 1/10.000, taxa

2 essa considerada segura para esse tipo de aplicação. Através da metodologia estabelecida para a coleta de dados, no entanto, foi possível aquilatar não só o atendimento ao valor da FAR requerida, mas também verificar a dependência dos métodos de reconhecimento de impressão digital com as diversas classes que a metodologia do trabalho estabeleceu para as categorias sexo, etnia, faixa etária e tipo de atividade manual. Além disso, com a utilização das curvas de ROC (Metze, 1978), foi - possível comparar, a partir da área sob essa curva, o desempenho dos sistemas estudados com outros sistemas da área biomédica. Metodologia Para a realização dos testes com ambos os dispositivos foram selecionados 504 indivíduos. A especificação da amostra deveria garantir a robustez dos dispositivos sob teste, testando-o em diferentes faixas etárias, etnias e desgaste da impressão digital por trabalho abrasivo ou com produtos químicos. Em função disso, a amostra contemplou as categorias e as respectivas classes mostradas na tabela 1. Tabela 1: Categorias e classes Categoria Sexo Idade Raça Tipo trab. masc branca leve fem negra moderada parda intensiva amarela > = 60 Classes Para a composição da amostra em relação às categorias mostradas na tabela 1 procurou-se, para garantia da continuidade da pesquisa, aproveitar a disponibilidade de pessoas que pertencessem a alguma instituição (indústrias, clubes de terceira idade e fundações). A fim de facilitar a aplicação de testes de significância estatística, nenhuma das classes ficou com menos de 20 indivíduos. Privilegiou-se também classes que fossem clientes da rede bancária e, quando os critérios acima estivessem atendidos, procurou-se respeitar a distribuição estatística da população do Estado do Amazonas, obtida através do Sistema IBGE de Recuperação Automática SIDRA. Na tabela 2 mostra-se a distribuição de indivíduos para as classes definidas na tabela 1. Os sistemas avaliados permitem o uso de múltiplos limiares de comparação, em função dos quais tem-se valores diferentes para FAR e FRR. Foram estabelecidos 5 limiares de operação para cada um dos sistemas testados. Tabela 2: Distribuição de indivíduos para as classes da tabela 1 Categoria Sexo Idade Raça Tipo trab Classes Para simulação da operação dos dispositivos em ambientes de atendimento bancário, realizou-se um número significativo de testes sem a preocupação de cuidados com a limpeza da lente, para evitar acúmulo de sujeira ou umidade. Metade dos testes foi realizada sem a limpeza da lente e a outra metade foi realizada com a limpeza da lente. Para a realização dessa pesquisa desenvolveu-se um aplicativo constituído por três módulos principais: um módulo de cadastro, um módulo de teste e um módulo de geração de relatórios. No módulo de cadastro são registradas informações das instituições participantes da pesquisa, informações dos operadores do sistema, informações demográficas dos indivíduos que compõem a base de dados, fotos das impressões digitais dos dedos indicadores das mãos esquerda e direita e códigos das impressões digitais dos dedos indicadores das mãos esquerda e direita. No módulo de teste podem ser realizados dois testes distintos: testes para verificação de falsa rejeição e testes para verificação de falsa aceitação. No teste de verificação de falsa rejeição, captura-se o código da impressão digital de um indivíduo e confronta-se o mesmo com o código da impressão digital do mesmo, previamente armazenado na base de dados. No teste de verificação de falsa aceitação, captura-se o código da impressão digital de um indivíduo e confronta-se o mesmo com um código de impressão digital escolhido aleatoriamente da base de dados. O resultado de um teste pode ter um entre quatro resultados possíveis (Shortlife, 1990): verdadeiro positivo (TP) quando o dispositivo reconhece como semelhantes a impressão digital de um indivíduo sob teste e uma impressão previamente armazenada e esta semelhança é verdadeira; verdadeiro negativo (TN) quando o dispositivo não reconhece como semelhantes a impressão digital de um indivíduo sob teste e uma impressão previamente armazenada e esta dessemelhança é verdadeira; falso positivo (FP) quando o dispositivo reconhece como semelhantes

3 a impressão digital de um indivíduo sob teste e uma impressão previamente armazenada e esta semelhança é falsa; falso negativo (FN) quando o dispositivo não reconhece como semelhantes a impressão digital de um indivíduo sob teste e uma impressão previamente armazenada e esta dessemelhança é falsa. No módulo de geração de relatórios é possível gerar relatórios das taxas de falsa aceitação e falsa rejeição para as diversas classes das categorias avaliadas e acompanhar o processo de realização de testes. A preocupação com a segurança foi uma tônica durante toda a pesquisa: periodicamente eram feitas cópias da base de dados para um Zip Drive; o acesso de um operador ao sistema era feito através de senhas previamente cadastradas; para o acompanhamento das atividades dos operadores do sistema era possível gerar relatórios com os registros do logon dos mesmos e do tempo médio de realização de um teste por operador; etc. Além disso, para um melhor acompanhamento da fase de cadastro, os relatórios gerados permitiam verificar os percentuais de indivíduos de cada classe já cadastrados e o número de indivíduos já cadastrados por instituição. Outra característica da metodologia adotada foi a preocupação com a logística da pesquisa: foram definidas as figuras do pesquisador e do líder de campo, com funções distintas. O líder de campo era responsável por planejar os testes de campo, coordenar a visita aos locais de teste e coordenar os pesquisadores. Os pesquisadores tinham a atribuição de realizar as etapas de cadastro e de testes. Foram gerados manuais de instrução para os pesquisadores e líderes de campo. No sistema, foram geradas mensagens de alerta que indicavam a seqüência de passos a serem seguidos para a realização de um determinado procedimento; etc. Resultados Para o dispositivo 1, realizou-se um total de testes, com uma média de 24 testes por indivíduo pesquisado. Na tabela 3 mostra-se, para esse dispositivo, os valores de FAR e de FRR obtidos para os 5 limiares pesquisados. Na tabela 4 são mostrados os valores de verdadeiro positivo, falso negativo, verdadeiro negativo e falso positivo obtidos para as classes definidas na tabela 1 e para o dispositivo 1. Para o dispositivo 2, realizou-se um total de testes, com uma média também de 24 testes por indivíduo. Na tabela 5 mostra-se, para esse dispositivo, os valores de FAR e de FRR obtidos para os 5 limiares pesquisados. Tabela 3: Valores de FAR e FRR para os 5 limiares do dispositivo 1 Limiar FAR 0,041% 0,041% 0,29% 0,6% 1,38% FRR 13,41% 8,6% 6,03% 4,88% 4,78% Na tabela 6 são mostrados os valores de verdadeiro positivo, falso negativo, verdadeiro negativo e falso positivo, obtidos para as classes mostradas na tabela 1 e para o dispositivo 2. Sexo Etnia Faixa Etária Ativ. Tabela 4: Valores de TP, FN, TN e FP para o dispositivo 1 Classe TP FN TN FP Fem Masc Amarela Branca Negra Parda > = Intensivo Leve Moderado Tabela 5: Valores de FAR e FRR para os 5 limiares do dispositivo 2 Limiar FAR 0,04% 0,02% 0,1% 0,08% 0,54% FRR 46,16% 34,42% 30,5% 29,1% 24,9% A partir dos valores das taxas de falsa aceitação e de falsa rejeição apresentados nas tabelas 3 e 5, para os dispositivos 1 e 2, respectivamente, é possível traçar as curvas de ROC (Receiver Operating Characteristics) para esses dispositivos, as quais são mostradas na figura 1.

4 Sexo Etnia Faixa Etária Ativ. Sensibilidade (1-FRR) Tabela 6: Valores de TP, FN, TN e FP para o dispositivo 2 Classe TP FN TN FP Fem Masc Amarela Branca Negra Parda > = Intensivo Leve Moderado ,8 0,6 0,4 0,2 Curva de ROC 0 0 0,005 0,01 0,015 1-Especificidade (FAR) Figura 1: Curva de ROC para os dispositivos 1 e 2 Discussão e Conclusões Sistema 1 Sistema 2 O Aplicativo desenvolvido permitiu a avaliação de algumas características que não estavam previstas no escopo do trabalho. Identificar qual o dispositivo que possuía menor tempo de resposta foi um dos dados obtidos não previstos na especificação do projeto. Os testes mostraram que o dispositivo 2 é mais rápido que o dispositivo 1. A avaliação da rapidez foi realizada contabilizando-se o tempo gasto para a chamada da função de captura do código do dedo, para as mãos direita e esquerda, depois de realizada a identificação do indivíduo pesquisado. Este tempo foi, em média, de 24 segundos para o Sistema 1 e de 20 segundos para o Sistema 2. A padronização da camada de comunicação com a estruturação da troca de dados e de mensagens entre o aplicativo e os sistemas biométricos sob avaliação possibilitou uma operação confiável, expurgando eventuais dúvidas quando à exatidão dos resultados dos testes. Em relação aos resultados apresentados na tabela 3 para o dispositivo 1, observa-se que: o valor da FAR especificada no manual do equipamento é menor do que 0,01%, ou seja, o valor máximo esperado para a falsa aceitação seria 1 para cada indivíduos. Os melhores resultados de FAR foram obtidos nos limiares 1 e 2, resultando no valor de 0,041%, que é aproximadamente 4 vezes maior do que a especificada, ou seja, o valor real da falsa aceitação do sistema foi 1 para cada indivíduos. Na tabela 7 são mostrados os resultados de testes de significância aplicados aos valores de TP, FN, TN e FP, apresentados na tabela 4 para o dispositivo 1 (Siegel, 1975). Da análise dessa tabela pode-se tirar as seguintes conclusões em relação ao dispositivo 1: para a categoria sexo, o dispositivo é mais sensível para a classe masculina, não apresentando diferença significativa em relação à especificidade; para a categoria etnia, o dispositivo é mais sensível para a classe raça amarela e mais específica para a classe raça negra; para a categoria faixa etária, o dispositivo é menos sensível para a faixa etária maior ou igual a 60 anos e mais específico para a classe de faixa etária de anos; para a categoria atividade manual, o dispositivo é mais sensível para a classe atividade manual leve, não apresentando diferença significativa em relação à especificidade. Na tabela 8 são mostrados os resultados de testes de significância aplicados aos valores de TP, FN, TN e FP, apresentados na tabela 6 para o dispositivo 2 (Siegel, 1975). Da análise dos dados apresentados na tabela 8 pode-se tirar as seguintes conclusões em relação ao dispositivo 2: para a categoria sexo, o dispositivo é mais sensível para a classe masculina, não apresentando diferença significativa em relação à especificidade; para a categoria etnia, o dispositivo é mais sensível para a classe de raça amarela, não apresentando diferença significativa em relação à especificidade; para a categoria faixa etária, o dispositivo é mais sensível para a classe de faixa etária entre anos, menos sensível para faixa etária maior ou igual a 60 anos e mais específico para a classe de faixa etária anos; para a categoria atividade manual, o

5 dispositivo é mais sensível para a classe de atividade manual leve, não apresentando diferença significativa em relação à especificidade. Tabela 7: Resultados dos testes de significância aplicados aos resultados da tabela 4 Categ. Sexo Etnia χ 2 para FP e TN Faixa etária Atividade 0,01 16,18 12,04 2,03 χ 2 para FN e TP Não Sim Sim Não 116,77 148,74 864,76 65,2 A partir das curvas de ROC mostradas na figura 1, conclui-se que o dispositivo 1 apresenta uma melhor resposta, independentemente do limiar adotado. Apesar do resultado do dispositivo 1 ter sido melhor, os dois dispositivos apresentaram desempenho insatisfatório quanto à falsa aceitação. Em todos os limiares utilizados, os dois sistemas apresentaram resultados bem inferiores aos especificados nos manuais dos fabricantes, isto é, inferiores a 0,01%. A área sob a curva de ROC é um parâmetro importante que permite comparar os dispositivos testados com o desempenho de outros equipamentos da área biomédica. Para o dispositivo 1, a área calculada sob a curva de ROC foi de 0,931, enquanto que para o dispositivo 2, a área calculada sob a curva de ROC foi de 0,728. Na figura 2 mostramos valores da área A sob a curva de ROC para vários testes que utilizam imagens médicas (Swets, 1988). Concluímos que o dispositivo 1 apresenta um desempenho comparável aos testes por imagens médicas mostrados na figura 2, enquanto que o dispositivo 2 apresenta um desempenho inferior em relação aos mesmos testes. Sim Sim Sim Sim 1 0,9 0,97 detecção de lesões no cérebro/ct 0,93 detecção de doença adrenal/ct 0,8 0,81 detecção de doença adrenal/us 0,7 detecção em mamografia Tabela 8: Resultados dos testes de significância aplicados aos resultados da tabela 6 Categ. Sexo Etnia χ 2 para FP e TN Faixa etária Atividade 3,03 1,58 10,38 1,95 χ 2 para FN e TP Não Não Sim Não 171,1 538,7 2135,4 103,4 Sim Sim Sim Sim 0,6 0,5 Figura 2: Valores da área sob a curva de ROC para vários testes que utilizam imagens médicas Referências Miller, B. (1994), Vital signs of identify, IEEE SECTRUM, pp 22-30, Feb. Metz, C. E. (1978), Basic principles of ROC analysis, Seminars in Nuclear Medicine, v. VIII, n.4, pp , Oct. Shortliffe, E.H., Perreault, L..E. (1990), Medical informatics computer applications in health care, New York: Addison Wesley. Siegel, S. (1975), Estatística Não-Paramétrica

6 para as Ciências do Comportamento, São Paulo: McGraw-Hill do Brasil. Swets, J.A. (1988), Measuring the Accuracy of Diagnostic Systems, Science, vol. 240, p Contato Evandro Luiz de Xerez Vieiralves Av. Gov. Danilo Areosa, 381 Distrito Industrial, Manaus, AM (92) evieiralves@fucapi.br Cícero Ferreira Fernandes Costa Filho Nuteli Faculdade de Tecnologia Av. Gal. Rodrigo Otávio Jordão Ramos,3000 Distrito Industrial, Manaus, AM (92) cícero.costa@ieee.org