CONCEPÇÃO E DESENVOLVIMENTO DE UM SISTEMA DE RECONHECIMENTO AUTOMÁTI- CO DE PLACAS DE VEÍCULOS AUTOMOTORES

Transcrição

1 CONCEPÇÃO E DESENVOLVIMENTO DE UM SISTEMA DE RECONHECIMENTO AUTOMÁTI- CO DE PLACAS DE VEÍCULOS AUTOMOTORES BRUNO CLEMENTE GUINGO 1, GUILHERME MATOSINHO STIEBLER 2, ANTONIO CARLOS GAY THOMÉ 3 1 Fundação Educacional Serra dos Órgãos Curso de Tecnologia em Processamento de Dados Av Alberto Torres, 111 Alto, CEP: Teresópolis, RJ, Brasil 2 Universidade Federal do Rio de Janeiro Departamento de Ciência da Computação Cidade Universitária - Ilha do Fundão, Caixa Postal 2324, CEP: Rio de Janeiro, RJ, Brasil 3 Universidade Federal do Rio de Janeiro Área de Ensino e Pesquisa, NCE/IM Cidade Universitária - Ilha do Fundão, Caixa Postal 2324, CEP: Rio de Janeiro, RJ, Brasil s: bruno.guingo@ufrj.br, gstiebler@ufrj.br, thome@nce.ufrj.br Abstract This article presents the conception and development of a system that aims the automatic recognition of vehicles plates through the application of computational intelligence and image processing techniques. The strategy adopted for the computational model is modular, covering from the image capturing process to the recognition of each one of the characters on the plate. Relevant aspects involved in the research are presented, as are the results obtained from the comparison between performances of the proposed system and two other commercial applications. Keywords plates recognition, plate localization, characters segmentation, features extraction, neural networks. Resumo Neste artigo é abordado a concepção e o desenvolvimento de um sistema que visa o reconhecimento automático das placas dos automóveis através da aplicação das técnicas de processamento de imagens e de inteligência computacional. A estratégia adotada para o modelo computacional é modular, que cobre desde a tomada da imagem até o reconhecimento de cada um dos caracteres que compõem a placa. São apresentados os aspectos relevantes estudados no decorrer da pesquisa, e ainda, os resultados obtidos na avaliação de desempenho do sistema com outros dois sistemas comerciais. Palavras-chave reconhecimento de placas, localização da placa, segmentação dos caracteres de placa, extração de características, redes neurais. 1 Introdução O reconhecimento da placa dos veículos automotores é uma aplicação que está inserida no contexto do reconhecimento de padrões, um ramo da ciência que se interessa pela descrição, classificação e também reconhecimento de objetos ou partes de uma imagem digital. O reconhecimento de padrões lida com técnicas para associar os padrões às suas respectivas classes, de forma automática e com a menor intervenção humana possível (GONZALEZ e THOMASON, 1978). O trabalho de reconhecimento de placas está inserido no campo de caracteres impressos, o que pode parecer uma aplicação de fácil solução, pois o objeto do reconhecimento, a placa, é constituído de caracteres impressos com formas bem definidas. Este fato pode induzir o pensamento de que um sistema de reconhecimento ótico de caractere pode facilmente resolver o problema, porém a realidade mostra o contrário. O reconhecimento da placa apresenta características próprias advindas, por exemplo, de efeitos diversos introduzidos por fatores como a velocidade de deslocamento do veículo, o ângulo de tomada da imagem, a distância e a qualidade técnica do equipamento de captura, a luminosidade natural ou falta da mesma, sombra, reflexo, diferenças de padrão entre as placas, estado de conservação da placa e outros, que tornam o problema muito mais complexo e difícil de ser tratado. Estes fatores aliados a outros problemas, tais como: variações da posição relativa da placa, tamanho da placa, inclinação, cor, contraste, a forma e a qualidade dos caracteres, dificultam sobremaneira a concepção de uma solução única, genérica e invariante aos mesmos. No Brasil, o desafio deste reconhecimento é ainda maior devido aos seis padrões diferentes de placas estabelecido pelo Código de Trânsito Brasileiro - CONTRAN, que causam uma diversidade de tipos e cores que introduzem um grande número de variáveis ao processo de reconhecimento como um todo.

2 2 Metodologia de Reconhecimento Proposta A maioria dos sistemas atualmente empregados na identificação de veículos são compostos por: uma câmera para aquisição da imagem do veículo, uma placa de aquisição de vídeo, um computador e um software para análise da imagem e reconhecimento da placa do veículo. Em virtude das diferentes estratégias e técnicas geralmente empregadas no processo de reconhecimento da placa de um veículo automotor, a proposta utilizada neste trabalho, segue a metodologia abordada em (GUINGO, 2003), que trata o problema de forma modular, onde o sistema de reconhecimento é constituído por seis módulos, e cada um destes tem uma funcionalidade específica. 2.1 Obtenção dos dados Para a realização desta pesquisa, foi imprescindível a obtenção de uma grande quantidade de fotografias digitais, pois é através delas que o estudo e o desenvolvimento de um modelo computacional se torna possível. Neste trabalho foram realizados três estudos de casos com imagens completamente diferentes. Para o primeiro estudo de caso, o Departamento de Estrada e Rodagem do Estado do Rio de Janeiro (DER-RJ), forneceu um conjunto de (nove mil e setenta e nove) imagens digitais de veículos. As imagens fornecidas foram obtidas através das diversas câmeras espalhadas pelas rodovias do Estado do Rio de Janeiro, utilizadas na fiscalização e aplicação de multas. O segundo estudo consiste na utilização de (duas mil e novecentos e oitenta e seis) imagens fornecidas pela Companhia de Engenharia e Tráfego do Município do Rio de Janeiro - CETRIO. Todas as imagens são provenientes de câmeras instaladas em diversas vias do Município do Rio de Janeiro, cuja utilização específica é a aplicação de multas aos condutores infratores. Já para o terceiro estudo de caso, foram utilizadas (três mil e novecentas e cinqüenta) imagens capturadas pela equipe do Laboratório de Inteligência Computacional da Universidade Federal do Rio de Janeiro LABIC/UFRJ no Posto de Vistoria do DETRAN-RJ (Cocotá Ilha do Governador). O objetivo do DETRAN-RJ é o reconhecimento automático da placa do veículo para prover uma maior segurança no processo de vistoria. Neste trabalho, buscou-se levar em consideração somente fotos obtidas em condições reais, com o objetivo de fazer-se assim face aos problemas e dificuldades que caracterizam a realidade das diferentes aplicações e contextos. 2.2 Localização da região da placa O algoritmo de localização foi implemento através de uma sucessão de passos, cuja finalidade foi quebrar e conquistar o problema por partes. No primeiro passo aplica-se uma redução no espaço de busca, geralmente por volta de 40% do total da imagem, com base em levantamentos estatísticos das áreas menos prováveis de conter o objeto procurado. No passo seguinte procura-se tirar proveito do padrão de cores das placas brasileiras que, excluindose as placas de táxi, apresentam um fundo em tom tendendo ao cinza e sobre o qual são sobrepostos os caracteres em cor preta. Nesta etapa, a região previamente selecionada no passo anterior é convolucionada com um filtro laplaciano de forma a identificar os pontos (pixels) que apresentem um determinado contraste entre os seus componentes individuais de cor no padrão RGB (azul-verde e azul-vermelho). Este filtro realça as altas freqüências presentes na imagem e dentre elas estão as bordas dos caracteres e, dependendo da cor do pára-choque do veículo, as bordas da própria placa. A figura 1 abaixo apresenta o resultado destes dois primeiros passos aplicados à imagem da esquerda. Figura 1. Programa de localização da região da placa. Concluída a definição das bordas esquerda e direita dos diferentes objetos da imagem, passa-se a busca de regiões com maior probabilidade de compor as bordas de um caractere. Segundo as normas estabelecidas pelo CONTRAN, a menor largura refere-se a letra I com 10mm e a maior com 54mm para as letras A e M. A largura média das letras é de 44mm. Nesta etapa os pontos selecionados como possíveis bordas, são armazenados em uma matriz de pontos de borda. Na etapa seguinte, para determinar a existência de uma ou mais regiões de placa, o algoritmo procura por áreas onde ocorra maior densidade de pontos de borda. O tamanho da área procurada também é previsto pelo CONTRAN como retangular e da ordem de 520cm 2. O tamanho da região, área e perímetro, e a densidade de pontos de borda no seu interior são os critérios utilizados para selecionar uma dentre as

3 regiões candidatas. Uma vez selecionada a região, esta é recortada da imagem original e repassada ao algoritmo de segmentação. 2.3 Segmentação dos Caracteres O algoritmo de segmentação possui diversos filtros digitais que são aplicados em seqüência de forma a abordar o problema por etapas que se refinam na determinação das fronteiras de cada caractere que compõe uma placa. O primeiro passo do algoritmo é converter a imagem recebida para tons de cinza e aplicar um filtro adaptativo para melhoria de contraste. A etapa seguinte consiste em fazer uma busca pelas regiões com maior potencial de representar um caractere. Esta busca é feita sobre a imagem em tons de cinza e é realizada com base na detecção de regiões conexas. A imagem é percorrida pixel a pixel, do mais escuro para o mais claro (luminosidade crescente). Se o pixel corrente não possuir nenhum vizinho mais escuro que ele (vizinhança de oito), é criado um novo grupo conexo contendo apenas este pixel, caso contrário, se houver apenas um vizinho mais escuro, o pixel corrente é incorporado ao seu grupo conexo, desde que a largura da região final não ultrapasse um determinado limite previamente definido. Se o pixel corrente possuir dois ou mais vizinhos pertencentes a diferentes grupos conexos, estes grupos poderão ser unificados caso atendam uma restrição de largura. Caso contrário o pixel corrente não é incorporado a nenhum dos grupos. Após percorrer toda a imagem, diversos grupos conexos terão sido formados e dentre eles deverão estar contidas as regiões com os caracteres desejados. Na figura 2 podese ver o resultado deste processamento. Figura 2. Janela do programa de localização de grupos conexos. A etapa seguinte consiste em eliminar regiões conexas com base nas suas dimensões e posição relativa na imagem e em seguida determinar os limites superior e inferior de cada uma das regiões conexas que tiverem sido selecionadas na etapa anterior. No próximo passo, linhas verticais são traçadas tangenciando as bordas esquerda e direita de cada uma das regiões conexas respeitando os seus respectivos limites (inferior e superior). O conjunto formado pelas linhas verticais de mesma altura (aproximadamente) é utilizado para definir as linhas de corte da região dos caracteres. O ângulo da linha de corte superior é tomado como a mediana dos ângulos entre os topos de cada duas colunas adjacentes. A segunda imagem da figura 3, apontada pela seta, mostra o limite superior e as colunas marcadas. Figura 3. Janela de determinação do ângulo de inclinação. Estabelecidos os limites inferior e superior da região estimada para os caracteres, sete regiões conexas são selecionadas para compor o conjunto de caracteres a ser reconhecido. 2.4 Extração de Características Neste módulo são extraídas características de cada imagem segmentada, de forma a compor uma assinatura para cada caractere. Diferentes técnicas de extração foram avaliadas, algumas bastante conhecidas (mapa de bits, projeções vertical e horizontal) e outras desenvolvidas no âmbito do LABIC (RODRIGUES, 2003). O mapa de bits (figura 4), como o próprio nome já diz, é formado por uma matriz em que cada célula representa a luminosidade de um pixel da imagem. No caso deste trabalho foi adotada uma matriz de tamanho 16x16 em função de estudos anteriores a- pontarem que não existe ganho com a utilização de matrizes de maiores tamanhos. Esta matriz pode ser construída a partir da imagem binarizada, onde os bits brancos (fundo) são marcados com zeros e os bits pretos (região de interesse) com uns, ou a partir da imagem em níveis de cinza com cada pixel variando entre zero e um ou zero e duzentos e cinqüenta e cinco. Figura 4. Mapa de Bits (16 x 16 pixels). A projeção horizontal (figura 5), também faz uso de uma matriz de bits sendo que a composição do vetor de características é formada pelo somatório dos pixels em cada linha da matriz. Figura 5. Projeção Horizontal.

4 A projeção vertical é semelhante à projeção horizontal, porém composta pelo somatório das colunas da imagem (figura 6). Figura 6. Projeção Vertical. A técnica desenvolvida no LABIC é baseada na projeção do contorno da imagem sobre os lados de um polígono regular posicionado em torno de cada caractere. O polígono circundante pode ser de qualquer número de lados, a partir de quatro (quadrado) até muitos lados (círculo). O vetor de características é formado pelas distâncias perpendiculares tomadas de cada lado do polígono até o contorno da imagem. Na figura 7 estão representados alguns possíveis casos de extração de características. Quadrado Hexágono Octógono Quadrado Rotacionado Círculo Figura 7. Métodos de extração de características. Todos os métodos de extração de características utilizados são baseados na quantidade de pixels das imagens dos caracteres (binarização). 2.5 Reconhecimento dos Caracteres O modelo de rede neural adotado para o reconhecimento dos caracteres foi o Multi-Layer Perceptron - MLP (BISHOP, 1995 e HAYKIN, 1999), treinado com o algoritmo backpropagation. O software utilizado para a simulação foi o MatLab versão 5.2 (DEMUTH e BEALE, 1992) e versão 6.0 (GUIDE IS MATLAB6.0). A função de ativação faz uso de um somatório simples das entradas ajustadas pelos seus respectivos pesos. Como função de propagação, utilizou-se a função logística sigmoidal, tanto na camada escondida quanto na camada de saída. O treinamento da rede foi realizado usando a opção traingdx com momento e taxa de aprendizado adaptativa. A entrada da rede para cada placa é composta por uma matriz de tamanho λx7, onde o λ depende do número de características extraídas. A saída para cada caractere foi configurada como um vetor ortogonal de dimensão 10 para os dígitos e 26 para as letras (tabelas 1 e 2). Tabela 1. Codificação da saída dos dígitos. Dígitos Saída Tabela 2. Codificação da saída das letras. Letras Saída A B Z Para normalização dos dados de entrada foi adotada a técnica Z-score (JOHNSON e WICHERN, 1992). Esta técnica apresenta como resultado o número de desvios-padrão que cada elemento do conjunto de dados está distante da média do conjunto. A equação abaixo mostra como é feito este cálculo. p p p = (1) n σ p Onde, p = vetor de entrada normalizado n p = vetor de entrada p = média dos vetores de entrada σ p = desvio-padrão dos vetores de entrada Também é feito o uso da técnica de PCA com fator de corte de 0,001, com o objetivo de reduzir a dimensionalidade dos vetores de características. 4 Estratégias de Reconhecimento Diversas topologias e arquiteturas foram testadas para cada estudo de caso. Na tabela 3 são apresentados os métodos e melhores resultados obtidos. Tabela 3. Avaliação das Estratégias de Reconhecimento. Avaliação DER-RJ CETRIO DETRAN-RJ Localização ,67% Segmentação 76,61% 87,16% 91,82% Estração de Características Reconhecimeto Dígitos Reconhecmento Letras Melhor Rede de Dígitos Melhor Rede de Letras Quad128 Quad128e256 QuadRot128, Hex128e256, MB256 Quad128 MB256 PH16 PV16 79,75% 96,98% 97,60% 72,25% 91,00% 95,24% Entr: 99 Oculta:47 Saída:10 Entr: 109 Oculta:47 Saída:26 Entr: 83 Oculta:54 Saída:26 Entr: 110 Oculta: 60 Saída:10 Entr: 114 Oculta:70 Saída:26 Legenda da Tabela 3: Quad128 = Quadrado com 128 medidas, Quad256 = Quadrado com 256 medidas, QuadRot128 = Quadrado Rotacionado com 128 medidas, Hex128 = Hexágono com 128 medidas, Hex256 = Hexágono com 256 medidas, MB256 = Mapa de Bits com 256 medidas, PH16 = Projeção Horizontal com 16 medidas, PV16 = Projeção Vertical com 16 medidas, Entr: Entrada da rede, Oculta: Nº de neurônios da camada oculta da rede, Saída: Nº de neurônios da camada de saída da rede.

5 Para o reconhecimento dos dígitos da CETRIO e DETRAN-RJ, foram utilizadas duas redes, uma para realizar o reconhecimento dos dígitos 1, 2, 3, 4, 5, 6, 7 e 9 com o método de extração de características poligonal do quadrado com 128 medidas e a outra para reconhecer os dígitos 0 e 8 com o método do mapa de bits 256 (figura 8). Figura 8. Estratégia com dois módulos neurais. 5 Avaliação de Desempenho É apresentado neste tópico uma comparação do sistema proposto, que é composto pelas estratégias que foram definidas como as melhores para realizarem o reconhecimento nos dígitos e nas letras com dois softwares demonstrativos adquiridos via download na internet, o primeiro desenvolvido no Brasil, o SIAV2.0 (AUTOMATISA, 2002) e com o SEECAR (HTSOL, 2002) que foi desenvolvimento por uma empresa israelense. O reconhecimento da placa foi executado apenas no terceiro estudo de caso (DETRAN-RJ), com a utilização de um conjunto de dados com 150 imagens que não fizeram parte do treinamento e nem do teste das redes. Este conjunto foi dividido em três subconjuntos com 50 imagens dentro das seguintes classes: fotos boas, normais e ruins. A separação das imagens para compor cada um dos conjuntos foi realizada visualmente e cabe ressaltar que no conjunto de imagens ruins existem exemplares que o próprio ser humano tem dificuldade em reconhecer a licença do veículo. A tabela 4 apresenta os resultados apurados na avaliação dos três conjuntos, discriminando os erros ocorridos na localização, segmentação e reconhecimento. Tabela 4. Resultado da avaliação do reconhecimento da placa. Avaliação Boas Normais Ruins Localização Acerto Erro Segmentação Acerto Erro Reconhecimento Acerto Válidas Erro Geral Acerto (Loc+Seg+Rec) Erro Com base nos dados da tabela 4 pode-se verificar como os processos de localização e de segmentação impactam sobre o processo de reconhecimento, quando estes falham em sua tarefa. O erro ocorrido na localização é propagado para a segmentação, e se neste processo também ocorrer erro, este é acumulado com o erro na localização que, por sua vez é propagado para o reconhecimento, causando com isso uma queda do reconhecimento. Fazendo uma análise apenas nas imagens que chegam para o processo de reconhecimento, vemos que este tem sempre uma taxa de acerto de aproximadamente 90% na placa como um todo. A comparação entre os softwares foi realizada com o uso de um conjunto de 300 imagens aleatórias, que não participaram de nenhum treinamento ou teste do sistema PROPOSTO. Os resultados obtidos nesta comparação estão apresentados na tabela 5 a seguir. Tabela 5. Resultado da comparação entre os sistemas. SISTEMA Acerto % Erro % SIAV , ,33 SEECAR , ,33 PROPOSTO , ,00 6 Conclusão A localização nos estudos de caso do DER-RJ e da CETRIO não foram realizadas de forma automática. Já para o estudo de caso do DETRAN-RJ, foi realizada através do programa de localização desenvolvido, cujo percentual de acerto foi de 98,67%, um resultado considerado muito bom, tendo em vista que o processo ainda se encontra em desenvolvimento. O processo de segmentação foi modificado e melhorado ao longo da pesquisa. Começou com uma taxa de 76,61% no DER-RJ e terminou com 91,82% considerando os sete caracteres de cada placa corretos. O Desempenho final foi bem superior ao alcançado no estudo de caso do DER-RJ e da CETRIO, em virtude da implementação de novas rotinas no algoritmo de segmentação (GUINGO, RODRIGUES & THOMÉ, ), que deram um melhor tratamento a alguns problemas que anteriormente não eram abordados (GUINGO, RODRIGUES & THO- MÉ, ) e da CETRIO (GUINGO, RODRIGUES & THOMÉ, ). Na extração das características foram utilizados os métodos: projeção poligonal com o quadrado 128 e 256, quadrado rotacionado 128, hexágono 128 e 256, o mapa de bits 256, a projeção horizontal 16 e a projeção vertical 16. A aplicação da técnica de Zscore juntamente com a técnica de PCA nos dados de entrada da rede mostrou ser bastante eficiente, tanto na normalização quanto na exclusão dos dados de entrada com pouca significância. No reconhecimento dos dígitos fez-se uso de duas redes neurais, a primeira empregou o método poligonal do quadrado 128 para a extração de características e fez o reconhecimento dos dígitos 1, 2, 3, 4, 5, 6, 7 e 9 e a outra fez a utilização

6 do mapa de bits 256 para reconhecer somente os dígitos 0 e 8. A taxa de reconhecimento dos dígitos foi de 97,60%. Para as letras foi utilizado uma rede com o método de extração de características, o mapa de bits 256 concatenado com projeção vertical 16 e com a projeção horizontal 16. Sua taxa de acerto foi de 96,38%. Na comparação entre os sistemas (PROPOSTO, SIAV2.0 e SEECAR), pôde-se verificar que o sistema de melhor taxa no reconhecimento foi o do DETRAN-RJ abordado neste trabalho. A taxa obtida no reconhecimento foi 40,55% maior que o segundo melhor resultado. JOHNSON, Richard A. and WICHERN, Dean W., Applied Multivariate Statistical Analysis, 3 ed. Prentice-Hall International, Inc., p. il ISBN RODRIGUES, Roberto José, Segmentação e extração de características para reconhecimento automático de caracteres Estudo e propostas. Dissertação (Mestrado em Ciência da Computação) Universidade Federal do Rio de Janeiro, Referências Bibliográficas AUTOMATISA, Empresa Automatisa Ltda. Disponível na internet via Arquivo consultado em BISHOP, C. M., Neural Networks for Pattern Recognition, Oxford University Press, DEMUTH, Howard and BEALE, Mark, Neural Network Toolbox for Use with Matlab: User s Guide Version 3.0, copyright by The MathWorks, Inc. GONZALEZ, Rafael C. and THOMASON Michael G., Syntatic Pattern Recognition: An Introduction, Addison-Wesley Publishing Company, Inc., GUIDE IS MATLAB6.0, Neural Network Toolbox 4.0 Release Notes. Chapter 32. GUINGO, Bruno Clemente, Reconhecimento Automático de Placas de Veículos Automotores. Dissertação (Mestrado em Ciência da Computação) Universidade Federal do Rio de Janeiro, GUINGO, B. C.; RODRIGUES, R. J. and THOMÉ, A. C. G. Automatic Identification for Automotives Vehicles Plates. 3 rd WSEAS - Conference on Neural Networks and Applications NNA'02, Fuzzy Sets and Fuzzy Systems FSFS'02, Evolutionary Computation EC'02, Interlaken Switzerland, Reconhecimento Automático de Placas de Veículos Automotores através de Redes Neurais Artificiais. 2º Congresso Brasileiro de Computação, Itajaí-SC, Técnicas de Segmentação de Imagens, Extração de Características e Reconhecimento de Caracteres de Placas de Veículos. 7º Simpósio de Informática e 2ª Mostra Regional de Software Acadêmico, PUCRS - Uruguaiana-RS, HAYKIN, Simon., Redes Neurais: Princípios e Prática, 2. ed. Porto Alegre: Bookman, HTSOL, Hi-Tech Solutions Inc. Disponível na internet via Arquivo consultado em 2002.