Reconhecimento de Caracteres Manuscritos Utilizando Time de Redes Neurais

Transcrição

1 Reconhecimento de Caracteres Manuscritos Utilizando Time de Redes Neurais Eugênio Silva 1, Antonio C. G. Thomé 1 1 Instituto de Matemática (IM) Núcleo de Computação Eletrônica (NCE) Universidade Federal do Rio de Janeiro (UFRJ) Caixa Postal 2324 CEP Rio de Janeiro RJ {eugenio, thome}@nce.ufrj.br Abstract. This paper approaches the development of a prototype based upon a neural network team for the recognition of handwritten characters. The development process also involves the evaluation of some feature extraction methods. The results are compared with those achieved by human beings. Resumo. Este artigo aborda o desenvolvimento de um protótipo que utiliza um time de redes neurais para o reconhecimento de caracteres manuscritos. O processo de desenvolvimento envolve também a avaliação de alguns métodos de extração de características. Na análise dos resultados o desempenho alcançado pelo protótipo é comparado ao alcançado pelo ser humano. 1. Introdução O trabalho relatado neste artigo é parte de um projeto maior que está sendo desenvolvido pelo grupo de pesquisa do Laboratório de Inteligência Computacional (LabIC) pertencente ao Departamento de Ciência da Computação (DCC) e ao Núcleo de Computação Eletrônica (NCE) da Universidade Federal do Rio de Janeiro (UFRJ). O projeto consiste da implementação de um sistema computadorizado cujo objetivo é realizar o reconhecimento de caracteres manuscritos dígitos e letras provenientes de formulários de concursos. Os formulários considerados são compostos por campos dos tipos numérico, alfabético e alfanumérico que são preenchidos pelo candidato em letra de forma sobre quadrículas pré-impressas. O sistema em construção é constituído de várias fases que cobrem desde a captura e digitalização da imagem até a apresentação do resultado do reconhecimento ao usuário do sistema e geração da base de dados alvo. Cada fase corresponde a um módulo do sistema que possui funções bem específicas. Esta estrutura modular permite que o sistema seja desenvolvido de forma flexível e independente, gerando diversos temas de estudo e pesquisa. 2. Fases que Antecedem o Processo de Reconhecimento 2.1. Obtenção da Base de Dados A base de dados utilizada neste trabalho foi gerada a partir da distribuição, coleta e digitalização de uma grande quantidade de formulários utilizados pelo NCE na realização de concursos públicos. A diversidade dos dados é garantida uma vez que os

2 formulários foram preenchidos por pessoas de ambos os sexos, diferentes idades e diferentes níveis de escolaridade Captura, Tratamento e Segmentação O dispositivo de captura utilizado foi um scanner simples e a imagem original foi digitalizada com uma resolução de 200dpi em modo colorido. Após a captura, a imagem de cada formulário foi submetida a um programa que localiza e extrai automaticamente os campos de interesse. O método de segmentação usado é baseado em histogramas de projeção. O histograma de projeção é uma técnica que faz uso da projeção da imagem sobre cada uma das duas dimensões existentes. A cada dimensão é associado um vetor onde é armazenado o número de pixels com tonalidade de cinza acima de um determinado limiar (geralmente tomado como a cor de fundo). A segmentação é então realizada aplicando-se uma série de refinamentos sucessivos até se chegar a um resultado satisfatório. O método pode ser visto como uma seqüência de três etapas distintas: inicia com uma compensação da qualidade da imagem, seguida por uma segmentação inicial e então, se necessário, por um conjunto de refinamentos sucessivos [Rodrigues e Thomé 2000]. Este método foi escolhido por ser apropriado para a segmentação de caracteres manuscritos não conectados, que fazem parte do escopo deste trabalho. A Figura 1 ilustra as etapas desde o tratamento da imagem até a segmentação dos caracteres. Figura 1. Etapas de tratamento e segmentação das imagens dos caracteres 2.3 Extração e Codificação de Características O método de extração de características utilizado, chamado de projeção poligonal, foi proposto em [Rodrigues, Vianna e Thomé 2001]. Os vetores de características são compostos por um conjunto de valores de distância computados a partir do polígono de referência até o contorno da imagem. O polígono de referência, que é posicionado em torno da imagem alvo, deve ser regular e pode ter qualquer número de lados. O vetor construído com estas características representa a assinatura do caractere em questão. A Figura 2 ilustra o processo de extração das características onde o quadrado é utilizado como polígono de referência. Figura 2. Seqüência de projeções para o quadrado Em [Rodrigues, Silva e Thomé 2001] e [Silva, Rodrigues e Thomé 2001] foram descritos diversos experimentos realizados com o objetivo de comparar a capacidade de

3 discriminação do método de projeção poligonal com a do método clássico do mapa de bits. O método de projeção poligonal foi considerado segundo as variantes do quadrado e do hexágono e o tamanho de seus vetores de características variou entre 2 5 e 2 9. O método do mapa de bits foi considerado em seu modo normal e no modo afinado [Pavilidis 1982]. A capacidade de discriminação dos métodos foi avaliada por meio de redes neurais MLP com uma camada escondida e treinadas com o algoritmo de retropropagação do erro. A projeção poligonal mostrou um desempenho consistente e superior ao do mapa de bits, sendo a variante do quadrado a que apresentou o melhor desempenho Modificações no Método de Projeção Poligonal Características Internas Embora o método de projeção poligonal tenha se mostrado mais eficiente que o método do mapa de bits, verificou-se que apresentava falhas em alguns casos específicos. Uma delas ocorria na representação de caracteres cuja diferenciação se dá, principalmente, na região interna dos mesmos. Visto que o método considera apenas o contorno externo dos caracteres, a dificuldade de discriminar algumas letras como B e D / O e Q, ficou evidente. A fim de contornar este problema, foi implementada uma complementação do método e este passou a ser capaz de extrair também as características da região interna dos caracteres. As medidas que compõem o vetor de características internas partem do centro da imagem e terminam no contorno interno do caractere [Silva 2002]. Esta variante do método é útil na discriminação de caracteres que possuem orifícios em sua forma como, por exemplo, B/D, O/Q, 8/0, etc, conforme mostra a Figura 3. Figura 3. Representação da varredura interna Quadrado Rotacionado Ainda que o método do quadrado considere as projeções apenas em quatro sentidos e o método do hexágono considere em seis sentidos, constatou-se, no processo de avaliação, que o primeiro se mostrou mais eficiente. A justificativa para este fato parece ser que as projeções realizadas pelo método do quadrado varrem completamente todo o contorno do caractere. No caso do hexágono, uma vez que o comprimento do lado é menor, estas projeções introduzem redundâncias e perdem alguns detalhes. Baseado nesta constatação foi acrescentada uma variante ao método de projeção poligonal, mais especificamente ao método do quadrado. Esta modificação possibilitou a extração das características dos caracteres com o quadrado rotacionado de 45 de sua posição original. Desta forma tornou-se possível considerar detalhes dos caracteres que não eram possíveis de serem extraídos com o método convencional do quadrado. A Figura 4 exemplifica uma das varreduras realizadas pela nova representação do método do quadrado e uma das varreduras realizadas pelo hexágono.

4 Figura 4. Projeções do hexágono e do quadrado rotacionado Com esta modificação, o vetor de características passou a ser composto pelas características extraídas segundo o quadrado convencional concatenadas com as características extraídas segundo o quadrado rotacionado. 3. Estratégias para o Reconhecimento dos Caracteres Manuscritos As estratégias avaliadas seguiram uma ordem natural de complexidade. Nas mais simples foram utilizados apenas um método de extração de características e apenas uma rede neural para a classificação dos caracteres (dígitos ou letras). Já nas mais complexas foram utilizados mais de um método de extração de características e mais de uma rede neural para a classificação dos mesmos. Foram utilizadas, essencialmente, três variações do método de projeção poligonal para a extração das características das imagens dos caracteres. São eles: quadrado 256, interno e quadrado rotacionado. Nas estratégias em que foram utilizadas mais de uma rede neural para a classificação dos caracteres, estas redes foram arranjadas na forma de uma estrutura chamada de time de redes neurais [Silva 2002]. Em um time de redes neurais têm-se duas ou mais redes neurais, que podem ser do mesmo modelo ou de modelos diferentes, trabalhando juntas e em cascata em um mesmo problema. A finalidade do time é dividir o problema em subproblemas específicos e atribuir a cada uma das redes integrantes do time a tarefa de resolver um dos subproblemas. Após a resolução de todos os subproblemas, suas respostas são combinadas, segundo um critério pré-determinado, de maneira a produzir a resposta para o problema original. Considerando que estes subproblemas específicos são menores que o problema original, as redes neurais que atuam nos mesmos também são menores. Sendo assim, é esperado que estas redes menores alcancem um poder de generalização, para seus respectivos subproblemas, que quando unidas, proporcionem um poder de generalização maior que o alcançado por apenas uma rede neural. Além disso, para cada subproblema, pode-se fazer uso do método de extração de características mais adequado. Além da utilização de mais de um método de extração de características e mais de uma rede neural, em algumas das estratégias, foi realizado um pré-processamento nos dados de entrada. O pré-processamento consistiu da normalização dos dados pelo método z-score, seguida pela aplicação da técnica de análise de componentes principais (PCA) [Johnson e Wichern 1992]. Na seção 3.1 é apresentada a estratégia que proporcionou o melhor desempenho no reconhecimento dos dígitos, enquanto que na seção 3.2 é apresentada a que proporcionou o melhor desempenho no caso das letras. Todas as outras estratégias concebidas e testadas para ambos os casos estão descritas em [Silva 2002].

5 3.1 Classificação dos Dígitos Manuscritos No caso dos dígitos, de todas as estratégias avaliadas, a que proporcionou o melhor resultado foi a que utilizou apenas uma rede neural para a classificação dos mesmos. As características dos vetores de entrada foram extraídas segundo o método do quadrado rotacionado e submetidas ao pré-processamento citado anteriormente. O esquema da rede neural utilizada nesta estratégia está ilustrado na Figura 5. O desempenho alcançado com a aplicação desta estratégia foi de 94,57% sobre um conjunto de teste composto por dígitos provenientes de vários formulários. Embora esta estratégia tenha apresentado o melhor desempenho geral na classificação dos dígitos, houve uma confusão maior na classificação dos dígitos 0 e 8 que em outras estratégias testadas para o mesmo problema [Silva 2002]. Figura 5. Rede neural aplicada na classificação dos dígitos 5.2 Classificação das Letras Manuscritas O classificador para o conjunto de letras se mostrou bem mais complexo em função das confusões geradas no tratamento das letras com maior grau de similaridade como, por exemplo, B-D-O-Q, H-M-N, I-J-S e U-V. Para minorar estas confusões fez-se uso de um time de redes organizado conforme a Figura 6. O time de redes neurais é organizado em três estágios. No primeiro estágio, a RN1 se encarrega de atribuir a mesma classificação às letras pertencentes a um grupo de alta similaridade e de estabelecer a classificação final das letras não similares. No segundo estágio, cada um destes grupos é apresentado à sua respectiva rede especializada (RN2, RN3, RN4 e RN5) a fim de que as letras sejam atribuídas às suas respectivas classes. Além disso, cada rede do segundo estágio tem uma saída de rejeição para o caso de não conseguir classificar uma determinada letra endereçada a ela, transmitindo assim a tarefa para um terceiro estágio dentro do time de redes. Ainda no segundo estágio, em cada rede especializada é utilizado o método de extração de características mais apropriado para as letras em questão. Finalmente, no terceiro estágio, há uma nova tentativa de classificar as letras rejeitadas apresentando-as a uma rede de repescagem (RN6) treinada para reconhecer todas as 26 letras do alfabeto. Com esta estratégia foi obtido um desempenho de 91,91%. Semelhante ao caso dos dígitos, o conjunto de teste foi constituído por letras extraídas de vários formulários.

6 Figura 6. Time de redes neurais aplicado na classificação das letras 6. Avaliação dos Resultados 6.1 Cálculo do Desempenho nos Formulários Para avaliar o desempenho dos modelos propostos no reconhecimento de um formulário completo, foram utilizados 20 formulários com um total de caracteres (1.359 letras e 781 dígitos). A Tabela 1 mostra os erros cometidos para cada um deles e também o percentual absoluto de erro cometido em cada formulário. Mesmo admitindo um espaço amostral restrito de apenas 20 formulários, foi possível avaliar o poder de reconhecimento das estratégias adotadas para os dígitos e para as letras. De todo o conjunto, apenas 2 formulários tiveram taxa de erro superior a 10% e o erro médio total acumulado foi de 6,17%. Portanto, o desempenho médio alcançado no reconhecimento da cada formulário foi de 93,83%. Cabe ressaltar que este resultado foi obtido sem a aplicação de nenhum tipo de pós-processamento. Alguns dos erros de reconhecimento observados são perfeitamente possíveis de ocorrer. São caracteres com formas ambíguas, que de forma isolada, provocam dúvida até mesmo em seres humanos. A Figura 7 mostra o exemplo de uma letra que foi reconhecida como sendo a letra S. Na forma isolada certamente um ser humano também a reconheceria como sendo uma letra S. No entanto, ao verificar o contexto no qual a letra está inserida percebe-se que o candidato teve a intenção de escrever a letra J.

7 Tabela 1. Desempenho no reconhecimento de cada formulário (%) ERROS CARACTERE ERROS FORMULÁRIO ABSOLUTOS LET DIG LET DIG LET DIG TOTAL ,08 0,00 7, ,11 1,11 2, ,84 0,00 7, ,85 0,93 2, ,24 2,25 13, ,69 0,00 7, ,86 0,00 6, ,54 0,00 6, ,84 2,94 10, ,08 0,88 7, ,01 0,75 3, ,72 0,00 4, ,74 0,93 4, ,38 0,00 6, ,45 0,00 3, ,83 0,00 2, ,67 0,00 4, ,37 2,25 5, ,33 0,93 9, ,45 0,91 6,36 TOTAL ,56 0,69 6,17 Figura 7. Exemplo de um caractere que causa confusão entre as letras J e S A aplicação de técnicas de análise de contexto e de verificação gramatical aliada ao resultado do reconhecimento poderá fazer com que o erro final seja ainda menor nos campos alfabéticos. Nos campos numéricos a utilização de consultas a bases de dados de números válidos como, por exemplo, CPF e CEP também podem proporcionar uma diminuição significativa na quantidade de erros. 6.4 Cálculo do Desempenho no Reconhecimento Humano Em [Barboza 2002] foi realizado um tipo de avaliação que não foi considerado em [Silva 2002]. Esta avaliação consistiu na seleção aleatória de alguns exemplares das letras manuscritas a partir da base de dados utilizada para verificar o desempenho alcançado por seres humanos. O objetivo foi o de avaliar o desempenho do ser humano no reconhecimento das letras manuscritas quando estas lhes são apresentadas de forma isolada e aleatória. Assim seria possível saber até que ponto o contexto onde a letra está inserida é importante para o processo de reconhecimento. Foi selecionado aleatoriamente da base de dados de teste, um conjunto composto por 80 exemplares de letras que foram apresentadas a 58 pessoas para a realização do

8 teste. O desempenho médio alcançado no teste foi de 92,26% e a incerteza associada (desvio padrão) foi de 4,83%. Este mesmo conjunto foi submetido ao time de redes neurais e o desempenho obtido foi de 91,00%. 7. Conclusões Observou-se que a utilização de um time de redes neurais permitiu que as confusões mais freqüentes no reconhecimento dos caracteres fossem tratadas isoladamente. Além disso, a utilização do time de redes permitiu também que para cada subproblema fosse utilizado o método de extração de características mais adequado. A comparação entre os resultados obtidos com o reconhecimento das letras através da rede neural e os resultados obtidos com o reconhecimento humano, evidenciou que existe um valor limite para este desempenho, acima do qual nem mesmo um ser humano se mostrou capaz de ultrapassar. Uma vez que os desempenhos neural e humano tiveram valores praticamente iguais no reconhecimento das letras isoladas, ficou claro que a informação de contexto é de importância fundamental para o seu reconhecimento. Logo, estratégias de pós-processamento que explorem este recurso podem elevar o desempenho alcançado com o sistema neural. Referências Bibliográficas Barboza, Jorge Leonardo Lima, Estudo de Algoritmos de Categorização Visando ao Reconhecimento Automático de Caracteres Manuscritos, p. Dissertação (Bacharelado em Ciência da Computação) Universidade Federal do Rio de Janeiro, Johnson, Richard A. e Wichern, Dean W., Applied Multivariate Statistical Analysis, 3 ed. Prentice-Hall International, Inc., p. il ISBN Pavilidis, T., Algorithms for Graphics and Image Processing, Computer Science Press, Inc., Rodrigues, Roberto José, Vianna, Gizelle Kupac e Thomé, Antonio C. G., Character Feature Extraction Using Polygonal Projection Sweep (Contour Detection), IWANN2001, Granade, June 13-15, LINCS, 2001, p , Rodrigues, Roberto José, Silva, Eugênio e Thomé, Antonio C. G., Feature Extraction Using Contour Projection, 5th World Multiconference on Systemics, Cybernetics and Informatics SCI2001, Orlando, July 22 25, Rodrigues, Roberto José e Thomé, Antonio C. G., Cursive Character Recognition A Character Segmentation Method Using Projection Profile-Based Techinique, The 6th International Conference on Information Systems, Analysis and Synthesis ISAS 2000, Orlando, August 2000, Proceedings v. V, p Silva, Eugênio, Reconhecimento Inteligente de Caracteres Manuscritos, p. Dissertação (Mestrado em Sistemas e Computação) Instituto Militar de Engenharia, Silva, Eugênio, Rodrigues, Roberto José e Thomé, Antonio C. G., Extração de Características para o Reconhecimento de Letras Manuscritas, V Simpósio Brasileiro de Automação Inteligente, Canela, novembro 7-9, 2001.