Off-line Signature Verification Using a Mixed Segmentation

Transcrição

1 Off-line Signature Verification Using a Mixed Segmentation William C. Farias, Edson J. R. Justino, Jacques Facon, Luiz E. S. Oliveira, Robert Sabourin Pontifícia Universidade Católica do Paraná Universidade Federal do Paraná École de Technologie Supérieure jean.felsky@pucpr.br {facon, justino}@ppgia.pucpr.br lesoliveira@inf.ufpr.br robert.sabourin@etsmtl.ca Abstract This paper presents an approach for off-line signatures verification based on a mixed segmentation process. The features used were selected to meet two levels of visual perception of the human cognition and a simple computational implementation. The approach is based on a model of two classes, authorship and not authorship. It uses a dissimilarity concept. The results demonstrate the robustness of the method in determining the three basic types of forgeries, reaching an average accuracy of 93.5% 1. Introdução A verificação de assinaturas, assim como todas as demais biometrias, é um método baseado em características individuais, tendo como base o fato de que as pessoas possuem maneiras particulares de escrever ou assinar. Este método de análise biométrica possui boa aceitação por ser pouco invasivo e ter baixo custo de aquisição, além de ser aplicável em diversas situações onde as assinaturas já são utilizadas, tais como contratos, cheques bancários, entre outros. Assinar não é um processo perfeitamente preciso e, por conseguinte, apresenta variabilidades intrapessoais. Essa variabilidade pode ser mais ou menos significativa, dependendo do autor. A única certeza é que, neste domínio, quando duas assinaturas são idênticas, uma delas é considerada cópia da outra [4]. Na figura 1 é possível observar as variabilidades intrapessoais de autores entre os vários exemplares. Existem basicamente, duas abordagens computacionais em verificação de assinaturas, a chamada on-line e a off-line. Métodos de verificação on-line possuem acesso às informações grafocinéticas do autor durante o processo de escrita. Já na off-line, a aquisição das características é feita utilizando uma imagem da assinatura. Figura 1. Variabilidades intrapessoais. [4] O processo de verificação de assinaturas off-line é o que apresenta os maiores desafios. Usualmente envolvem processos de pré-tratamento complexos, pois exigem a retirada de informações desnecessárias do documento e que podem vir a interferir no desempenho do método de verificação [2]. É comum a presença de carimbos, selos e outros. Outro aspecto relevante está na incapacidade de mensurar, com relativa precisão, características grafocinéticas, tais com a pressão da caneta sobre o papel ou a velocidade imposta pelo autor durante o processo de escrita. Assim como na etapa de classificação é possível identificar recursos para a melhoria no processo de verificação como um todo, tal como o uso da combinação de classificadores [3,8], na etapa de segmentação e extração de características também o é. Este artigo apresenta uma abordagem para a verificação de assinaturas off-line, com base na combinação de distintos processos de segmentação. O processo utiliza características globais e locais de implementação computacional simples. O método proposto se baseia no uso de um classificador SVM e numa abordagem de geração de modelo independente do escritor [7].

2 2. Segmentação e extração de características Em verificação de assinaturas a segmentação e extração de características se baseiam principalmente em duas abordagens principais, a contextual e a não contextual [4]. A contextual aborda a assinatura como um texto e busca, dessa forma, segmentar a assinatura em palavras e letras, com o objetivo de identificar padrões de semelhança [2]. Já a não contextual, a assinatura é considerada um desenho produzido pelo escritor, cujas propriedades estão mais vinculadas à forma [2,6]. Esta última, mais abrangente, atende aos requisitos de análise de dois tipos de assinaturas, as cursivas e as rubricas. A segmentação e extração de características não contextuais podem ocorrer sobre duas formas [4]. A primeira se norteia pela análise da ocupação do espaço gráfico, isto é, na forma em que o escritor distribui a assinatura no espaço destinado a mesma. A segunda se dedica à análise do traçado da assinatura. Em ambos os casos podem-se usar técnicas de extração de características globais, isto é, sem o uso de segmentação [4], ou local, utilizado algum processo de segmentação, tais como uma grade ou grid [4, 10]. ela tenha vindo. Essa etapa também será descrita em detalhes na seção Extração das características O método proposto está sedimentado nas duas abordagens de segmentação e extração de características vista anteriormente, a abordagem local e a global. Para a obtenção das características locais adotou-se um processo de segmentação utilizado amplamente pela literatura [4, 2, 10]: o grid. O uso do grid favorece a obtenção de características oriundas do traçado e também do espaço gráfico em torno da assinatura. Confira na figura 2. Figura 2. Exemplo de grid usado na segmentação. 3. Método proposto O método de verificação de assinatura proposto busca atender aos três tipos básicos de falsificação [4]: A aleatória: que seria a comparação do espécime original com a de outro escritor; A simples: que seria a comparação de um espécime original com uma falsificação baseada no nome do escritor; A exercitada: que seria a comparação de um espécime original com uma falsificação produzida com base na original. O método é composto por uma etapa de prétratamento, onde a assinatura é preparada para a segmentação e extração de características. Essa etapa provê recursos de filtragem morfológicas a fim de atender à etapa de segmentação e extração de características. A etapa de segmentação e extração de características se baseia em dois dos três níveis de percepção visual humana. Essa etapa será descrita em detalhas no tópico seguinte. Por fim, encontra-se a etapa de treinamento e classificação. Essa última utiliza uma abordagem independente do escritor, isto é, o modelo gerado no processo de treinamento é capaz de identificar se uma assinatura é falsa ou não, não importando de que escritor As características utilizadas nesse trabalho foram selecionadas de forma a atender a dois dos três níveis de percepção visual cognitiva humana [11]. O primeiro tratase do nível de entrada (entry level) ou global e o segundo do nível subordinado (subordinate level) ou local. A tabela 1 mostra o conjunto de características e suas propriedades. Tabela 1. Conjunto de características segundo o nível de percepção visual cognitiva humana. Característica Densidade de Pontos Pontos de Máximo, Mínimo e Centro de Gravidade Inclinação Estrutural Inclinação Global Inclinação no Grid Segmentação pixels grid (25x25) a 30% Nível de Percepção Visual entrada - subordinado grid (10x25) - k=4 e L=14 grid (4x5) k=4 e L=14 subordinado entrada subordinado De todas as características a densidade de pontos seria a mais simples e, por conseguinte, a menos rigorosa do conjunto [4,5] no aspecto de similaridades. A densidade de pontos consiste numa simples contagem dos

3 pontos dentro de uma célula do grid. A incorporação do grid nessa característica favorece a análise do espaço gráfico. Em teste preliminares observou-se que existe uma tendência de deformação acentuada do traçado da assinatura, no decorrer do processo. Isto é, quanto mais próximo do final da escrita, maior a deformidade imposta pelo escritor. Confira na figura 3. Com a contagem de pixels e, consequentemente, a análise gradativa do grid, em testes preliminares, com as assinaturas alinhadas à esquerda, observou-se que aproximadamente em 30% do grid foi estabelecido um ponto de equilíbrio entre as taxas de rejeição das assinaturas genuínas e as taxas de aceitação das falsificações, evidenciando a região da assinatura que melhor a representa. Essa propriedade não foi observada nas outras características. CG Figura 4. Características de Pontos de Máximo, Mínimo e Centro de Gravidade. A extração da Inclinação Estrutural, já implementada com sucesso por [1,3,4,5], utiliza como método de segmentação o grid. A imagem da assinatura esqueletizada é, em cada célula, percorrida por um conjunto de elementos estruturantes que contabiliza a maior ocorrência. Na figura 5 são apresentados os elementos e um exemplo de assinatura esqueletizada. PI Aresta Figura 3. Exemplo de deformidade gradativa da assinatura e do melhor ponto de corte para a contagem de pixels (eixo x sendo o percentual da assinatura considerado e o eixo y a taxas de erros). Para os elementos de ataque e remate foram extraídos os pontos extremos mais à esquerda, mais à direita, mais acima e abaixo da assinatura. Para cada um desses pontos foram calculadas os ângulos internos e a distâncias das arestas em relação aos pontos vizinhos. Também foram calculadas as distâncias e ângulos formados em relação ao centro de gravidade (CG) da assinatura e as distâncias entre o ponto de intersecção (PI) da reta que liga os pontos mais acima com o mais abaixo e com a reta que ligam os pontos mais a esquerda com o mais a direita. Na figura 4 é possível observar os pontos extremos da assinatura, o polígono formado por estes pontos, o ponto de intersecção das restas e o centro de gravidade da assinatura. Figura 5. Conjunto de elementos estruturantes que representam os tipos de inclinação e uma imagem do esqueleto no grid.[4] A Inclinação Global é uma característica grafocinética que descreve o aspecto dinâmico do traçado e o ângulo de inclinação da escrita [12]. Esta característica foi extraída da imagem do contorno do traçado. Confira na figura 6. A imagem do contorno e percorrida, considerando-se cada pixel preto do traçado no centro do elemento estruturante retangular, figura 7. Em seguida, verificam-se os fragmentos de borda em todas as direções, partindo deste pixel central e conferindo os pixels posteriores com um operador lógico E (AND), finalizando nas extremidades do elemento estruturante apenas se houver a presença de um fragmento de borda inteiro. Ou seja, se todos os pixels vizinhos forem pretos, considera-se então o fragmento da borda e calcula-se a posição do fragmento em um vetor de

4 posições para a construção do histograma que determina a inclinação que pode ser à esquerda, à direita ou nula.,, 1 (a) Figura 6. (a) Imagem binária da assinatura, (b) contorno dos traçados. Foram selecionadas variações do elemento estruturante k = 3, 4, 5 e 10 (distância a partir do central, incluindo-o) ao longo do fragmento no qual, para cada elemento estruturante, são quantificadas as direções de inclinação. Na figura 7, para k = 5, L possui 17 direções (ângulos: 0, 11, 23, 34, 45, 56, 68, 79, 90, 102, 113, 124, 135, 146, 158, 169, 180 ), as quais também representam a dimensionalidade do vetor para essa característica. O melhor resultado obtido em experimentos preliminares, com a característica isolada foi k=4 e L=14. (b) Sendo d o número máximo de características e x o vetor de características. A dissimilaridade propicia o uso de um modelo independente do escritor. Esse modelo apresenta a vantagem de não necessitar da geração de novos modelos, quando da entrada de um novo escritor na base de escritores. O modelo de dissimilaridade, nesse contexto, revela a presença da autora, classe w 1, e não autoria, classe w 2. Para tanto, usa-se o conceito de Referência (Ref), isto é, amostras genuínas de um escritor que serão comparadas com a questionada (Q), usando um modelo de dissimilaridade independente do escritor como árbitro. Confira na figura 8. Ref 1..n Q Modelo D(Ref i=1..n,q) Autoria Não Autoria Figura 7: Exemplo de um elemento estruturante com comprimento k=5 e L=17 direções. Essa característica também foi selecionada utilizando o grid como método de segmentação. O processo de extração de características não sofreu alterações. Primeiramente foi realizada uma análise para obtenção da melhor configuração de grid. Neste caso, a resolução de 4x5 pixels para o grid foi a que apresentou o melhor desempenho, junto com k=4 e L=14. Neste caso, com a característica isolada. 3.2 Cálculo da dissimilaridade O conceito de dissimilaridade foi proposto por Cha [7] com o objetivo de transformar um problema de múltiplas classes em um problema de duas classes. A dissimilaridade é obtida através da diferença entre as características observáveis de dois objetos. Para o cálculo dessa diferença usa-se uma medida de distância. Entre outras, encontra-se a euclidiana, cityblock, chebychev, correlação e spearman [2,8]. Para esse trabalho foi selecionada a euclidiana, função 1, por ter gerados os melhores resultados em testes preliminares. Figura 8. Diagrama em bloco do Modelo de classificação. Como se pode utilizar um número de referências maior que 1, isto é, Ref 1, um método de fusão dos resultados deve ser aplicado. Esse conceito é o mesmo utilizado por um perito grafotécnico que usa um conjunto de amostras conhecidas do autor Ref na confrontação com a amostra questionada Q, a fim de determinar o padrão de variabilidade intrapessoal. Os métodos de fusão mais utilizados são o voto majoritário, a soma dos resultados e a média [4]. Neste trabalho foi usado um classificador SVM num modelo de duas classes. O valor escalar com o grau de certeza produzido pelo mesmo foi usado no método de fusão por soma, pois esse foi o que gerou o melhor resultado. 4. Análise dos resultados A base de dados usada nesse trabalho é composta de imagens de assinaturas. Sendo assinaturas genuínas oriundas de 100 escritores diferentes (40 amostras de assinaturas por escritor) e falsificações,

5 geradas a partir dos 60 primeiros escritores. Foram produzidas 10 falsificações simples (FS) e 10 falsificações exercitadas (FE) para cada escritor. As assinaturas foram coletadas numa resolução de 300 dpi e 256 níveis de cinza. Em seguida as imagens foram recortadas e gravadas em um arquivo no formato BMP, num retângulo de tamanho 3x10 cm ou 400x1.000 pixels, correspondendo à área destinada à assinatura [4]. A base de 100 escritores foi dividida em duas subbases. A primeira destinada ao processo de treinamento ou geração do modelo. A segunda, contendo as falsificações, foi utilizada somente para os testes. Cabe salientar que nenhum autor que participou do processo de treinamento foi utilizado nos testes. Outro aspecto importante é que não foram utilizadas falsificações simples e exercitadas na geração do modelo. Isto é, somente amostras de escritores distintos foram usados como falsificações aleatórias (FA). Portanto, a base de treinamento do modelo foi composta de vetores de dissimilaridades entre amostra do mesmo escritor (autoria) e vetores de dissimilaridades entre amostra de escritores diferentes (não autoria). Foram utilizadas 20 amostras de cada escritor, num total de 240 vetores de dissimilaridade das amostras genuínas e 288 das falsas aleatórias. Nos testes foram utilizados os escritores da segunda sub-base. De cada um dos 60 autores da base de teste foram separadas 7 amostras como referência (Ref) e 10 para testes, mais as falsificações, totalizando 30 amostras questionadas por escritor. As 10 amostras genuínas de teste foram usadas como verdadeiras para esse escritor e como falsas aleatória para os demais escritores. Cada amostra de assinatura questionada foi confrontado com as de referência de um determinado escritor, tendo como árbitro o modelo gerado pelo SVM. Confira na figura 7. O kernel utilizado pelo SVM foi o linear, já utilizado por outros autores [1,3,4,5]. Os resultados obtidos podem ser vistos na tabela 2. Tabela 2. Resultados da classificação. Erro I Erro II Número Acerto (%) (%) Ref (%) FA FS FE , ,25 É possível observar que o modelo responde adequadamente para as falsificação aleatória (FA) (Falsa aceitação ou Erro tipo II < 1%) e a falsa rejeição (Erro tipo I < 6%). Isto ocorre pois o modelo gerado foi treinado com falsificações aleatória. Mas mesmo com as demais falsificações, a simples e a exercitada, o modelo teve como resultado FS < 1% e FE < 20%. Os fatores que mais influenciaram no erro das falsificações exercitadas (FE) estão no uso de um modelo generalista, uma vez que não se usou um modelo por escritor e também pela falta de treinamento com outros tipos de falsificações. Mas mesmos nessas condições, os resultados se mostram promissores. Um fator importante está no número de referências utilizado, Não se verificou variações significativas no uso de um número superior a 3 referência. Isto indica que o método se mostra adequado a uma aplicação real, o uso de 3 a 4 referências seria aceitável para um processo de colheita de exemplares. A tabela 3 mostra os resultados comparativos com outros métodos que utilizaram a mesma base de dados e protocolos de testes semelhantes. Os resultados obtidos se mostraram muito próximos aos do método 2, com exceção da FA. A superioridade apresentada pelo método 2 deve-se principalmente ao modelo dependente do autor e ao número de amostra de treinamento e validação cruzada usados. Apesar dos resultados obtidos pelo método proposto serem inferiores em alguns casos, ainda é o que apresenta um modelo independente do autor, com o menor número de amostras de referências. Tabela 3. Resultados comparativos com outros trabalhoso. Número de características / Número de classificador / Modelo / Número de referências Ref 1 Bertolini [1] 2 Justino [4] 3 Método Proposto 18 características / Algoritmos genéticos e combinação de 66 classificadores SVM / Independente do Autor / 15 referências 3 características / 1 classificador HMM / Dependente do Autor / 30 referências (20 no treinamento e 10 na validação cruzada) 5 características / 7 classificadores SVM / Independente do Autor / 7 referências Ref Erro Tipo I (%) 5. Conclusão e trabalhos futuros Erro Tipo II (%) FA FS FE 11,3 3,0 4,3 6,4 3,3 1,33 1,83 5,51 8, Este artigo apresentou uma abordagem para a verificação de assinaturas off-line com base em um

6 processo misto de segmentação. As características utilizadas foram selecionadas de forma a atender a dois níveis de percepção visual cognitiva humana e apresentam simplicidade na implementação computacional. A abordagem se baseia em um modelo de duas classes, autoria e não autoria, usando o conceito de dissimilaridade. Os resultados demonstram a robustez do método na verificação dos três tipos básicos de falsificações, atingindo uma média de acerto de 93,5%. Como trabalhos futuros existem dois pontos a serem explorados. O primeiro está em investigar a inclusão de um modelo por autor, o que deve melhorar significativamente o desempenho para as falsificações exercitadas. A segunda seria manter o mesmo modelo, incluído os três tipos de falsificações na geração do mesmo. 6. Referências [1] Bertolini, D. ; Oliveira, L.S. ; Justino, E. ; Sabourin, R.. Reducing forgeries in writer-independent off-line signature verification through ensemble of classifiers. Pattern Recognition, v. 43, 2010,p ,,. [2] D. Impedovo, G. Pirlo, Automatic signature verification: the state of the art, IEEE Transactions on Systems, Man, and Cybernetics Part C 38 (5),2008, [3] Oliveira, L.S. ; Justino, E. ; Sabourin, R.; Bortolozzi, F. Combining Classifiers in the ROC-space for Off-line Signature Verification. Journal of Universal Computer Science, vol. 14, no. 2,2008, [6] Shomaker, L.; Advances in Writer Identification and Verification, Proceedings of the International Conference on Document Analysis and Recognition (ICDAR) Curitiba, Brazil, [7] Cha, S. H., Use of the Distance Measures in Handwriting Analysis, Doctor Theses. State University of New York at Buffalo, EUA, 2001,p [8] H. Baltzakis, N. Papamarkos, A new signature verification technique based on a twostage neural network classifier, Engineering Applications of Artificial Intelligence 14 (2001) [9] B. Fang, Y. Tang, Improved class statistics estimation for sparse data problems in offline signature verification, IEEE Transactions on Systems, Man and Cybernetics 35 (3),2005, [10] R. Sabourin, G. Genest, An extended-shadow-code based approach for off-line signature verification: part I evaluation of the bar mask definition, in: 12 th International Conference on Pattern Recognition, 1994, p [11] Jolicoeur, P., Gluck, M., & Kosslyn, S. M.. Pictures and names: Making the connection. Cognitive Psychology, 16, 1984, [12] Hanusiak, R. K., Oliveira, L. S., Justino, E., Sabourin, R., Writer verification using texture-based features. International Journal on Document Analysis and Recognition (Print)., v.15, 2012, p [4] E. Justino, F. Bortolozzi, R. Sabourin, Off-line signature verification using HMM for random, simple and skilled forgeries, in: 6th International Conference on Document Analysis and Recognition, 2001, pp [5] C. Santos, E. Justino, F. Bortolozzi, R. Sabourin, An offline signature verification method based on document questioned experts approach and a neural network classifier, in: 9th International Workshop on Frontiers in Handwriting Recognition, 2004, p