Estudo da aplicabilidade das técnicas de morfologia matemática e redes neurais aplicadas ao problema de segmentação de placas de carros

Transcrição

1 Alessandra Bussador e Miguel D. Matrakas 63 Estudo da aplicabilidade das técnicas de morfologia matemática e redes neurais aplicadas ao problema de segmentação de placas de carros Alessandra Bussador (Mestre) Curso de Engenharia da Computação - Universidade Tuiuti do Paraná Miguel Diogenes Matrakas (Mestre) Curso de Engenharia da Computação - Universidade Tuiuti do Paraná

2 64 Estudo da aplicabilidade das técnicas de morfologia... Resumo Neste trabalho serão apresentadas as técnicas utilizadas no processamento e segmentação de placas de veículos. Este estudo foi direcionado para as técnicas de segmentação mais utilizadas. Este trabalho também considera as imagens dos veículos como uma imagem de documento complexa, ou seja, uma imagem que não apresenta uma estrutura definida. Palavras-chave: morfologia matemática, granulometria, segmentação, redes neurais, placas de veículos. Abstract In this work the techniques used in the processing and segmentation of license plates will be presented. This study was directed to the most used techniques of segmentation. This work also considers the images of the vehicles as a complex document image, or either, an image that does not present a definite structure. Key words: mathematical morphology, fast granulometry, neural network, segmentation, license plates.

3 Alessandra Bussador e Miguel D. Matrakas 65 Introdução A segmentação de imagens é um processo que tipicamente particiona o domínio espacial de uma imagem em subconjuntos mutuamente exclusivos, chamados regiões, onde cada região é uniforme e homogênea com respeito a algumas propriedades como tom ou textura e cujos valores diferem, em alguns aspectos e significados, das propriedades de cada região vizinha. Fazendo uma análise superficial de uma imagem da placa de um veículo, tem-se a presença de caracteres. Assim foram pesquisadas técnicas que abordassem os problemas de localização e segmentação de caracteres em imagens e seu reconhecimento, sendo estas específicas para texto ou não. No Brasil, o desafio para a identificação de placas é ainda maior pelo fato da resolução n.º 46 do Conselho Nacional de Trânsito (Contran) prever oito tipos diferentes de placas para veículos particulares (de passeio ou comerciais), para veículos de aluguel, de

4 66 Estudo da aplicabilidade das técnicas de morfologia... experiência (concessionárias), de aprendizagem (auto-escolas), de fabricantes (montadoras), de missões diplomáticas, de coleção e oficiais. Esta diversidade de tipos, com diferentes padrões de cores e também de numeração introduz um grande número de variáveis ao processos de localização e reconhecimento de placas de veículos. Neste artigo serão apresentados alguns trabalhos para localizar, extrair e reconhecer os caracteres em placas de veículos particulares utilizando, para isto, técnicas de morfologia matemática, algoritmos genéticos e redes neurais. Na seção 2 será exemplificado o estado da arte de segmentação e reconhecimento de placas de veículos; na seção 3, será ilustrada a eficiência destes sistemas de segmentação e reconhecimento de placas e, na seção 4, serão apresentadas as conclusões deste estudo. FIGURA 1: TIPOS DE PLACAS DE VEÍCULOS NO BRASIL 2 Estado da Arte Apesar de encontrar na literatura um número elevado de publicações ligadas ao problema de segmentação e de reconhecimento de padrões, paradoxalmente encontram-se poucos artigos ligados à tarefa de localização e reconhecimento de placas de veículos utilizando estas técnicas específicas. Dentro das técnicas levantadas para este estudo, podem ser citados: - sistema Siav baseado na variação tonal (Souza e Susin, 2000); - sistema Holandês CLPR baseado num estudo de extração de regiões aplicada ao problema especifico de localização de placas de veículo (Brugge et al., 1999); - uma abordagem de extração de caracteres em placas dos veículos em movimento baseada em campos randômicos de Markov e algoritmos genéticos (Cui & Huang, 1997); - um método de localização de placas de veículo utilizando redes neurais (Kim et al., 1999) ; - sistema de segmentação de placas baseado em morfologia matemática (Bussador, 2001). 2.1 Sistema SIAV O algoritmo de localização da placa em Siav (Souza, 2000) pode ser dividido em dois procedimentos: 1. No primeiro procedimento temos a localização da placa através dos algoritmos abaixo:

5 Alessandra Bussador e Miguel D. Matrakas 67 - procura por variação tonal padronizada através da análise do gradiente positivo na área da placa; - binarização local adaptativa sobre a região encontrada ou, se necessário, sobre a imagem inteira. Nesta etapa, temos como resultado, as coordenadas do provável local da placa. 2. No segundo procedimento, há a confirmação do local através da análise do número de dígitos encontrados: - procura por dígitos de tamanhos pré-definidos; - análise dos dígitos selecionados verificando a formação de algum grupo válido. Como resultado final, temos a confirmação do local correto. FIGURA 2 - SELEÇÃO DOS DÍGITOS DA PLACA Uma vez encontrada a placa, é necessário segmentar os caracteres a fim de separá-los do resto da imagem e redimensioná-los para a rede neural. Foi utilizada uma técnica de crescimento controlado, dentro de cada entidade encontrada na área da placa, e um conjunto de heurísticas para descartar ruídos indesejáveis e selecionar corretamente os caracteres. FIGURA 3 - PLACA BINARIZADA FIGURA 4 - PLACA SEGMENTADA - 7 ENTIDA- DES ENCONTRADAS Em seguida, é feito o reconhecimento dos caracteres através de uma rede neural com topologia feedforward utilizando o algoritmo backpropagation para treinamento foi escolhida. Foram desenvolvidas duas redes distintas, uma para os caracteres e outra para os algarismos, com 255x26 x26 e 255x10x10 neurônios nas camadas de entrada x escondida x saída respectivamente. As taxas de acerto do sistema são: - 98,7 % de sucesso na localização das placas; - 87,1 % de sucesso na segmentação correta dos caracteres; - 82,4 % de sucesso na localização das placas com a rotina preliminar (variação tonal); - 87 % de sucesso no reconhecimento dos caracteres segmentados;

6 68 Estudo da aplicabilidade das técnicas de morfologia % de sucesso no reconhecimento correto das placas (7 dígitos). Uma vez encontrada a placa, é necessário segmentar os caracteres a fim de separá-los do resto da imagem e redimensioná-los para a rede neural. Foi utilizada uma técnica de crescimento controlado, dentro de cada entidade encontrada na área da placa, e um conjunto de heurísticas para descartar ruídos indesejáveis e selecionar corretamente os caracteres. Neste sistema, as taxas de sucesso na localização de placa e na segmentação dos caracteres são respectivamente de 82.4% e de 87.1%. 2.2 Sistema CLPR Em Brugge et al. (1999), é apresentado o sistema CLPR para identificação de veículos em vias públicas (VIPUR) que se baseia no regulamento de placas da Holanda. Este regulamento envolve uma pequena série de regras para a posição da placa no carro, o estilo, tamanho, cor da placa e dos caracteres, e fonte dos caracteres, etc. Na Holanda, existe somente um tipo de placa, com fundo claro e caracteres escuros. O sistema CLPR consiste de quatro unidades principais: uma unidade de segmentação, uma de isolação, uma de reconhecimento e uma unidade de análise sintática. A unidade de segmentação é completamente implementada pelo DT-CNNs e determina o local da placa baseado em características estruturais e algumas medidas de tamanho. A placa extraída é passada para o isolador de caracteres que isolará cada caracter da placa. Os caracteres isolados são processados pelo reconhecedor de caracteres (OCR). Esta parte do sistema utiliza informações padrão. O analisador sintático checa cada possível caracter retornado pelo reconhecedor um número satisfatório de regras sintáticas existentes nas placas holandesas. Se estas regras não forem satisfatórias, ou um dos caracteres for irreconhecível, a imagem é rejeitada. As taxas de erro do sistema são: - 5% com erro na aplicação das características das placas; - 6% de rejeição de todas as imagens durante o estágio segmentação/isolação. 2.3 Sistema baseado em campos randômicos de Markov e algoritmos genéticos No trabalho de Cui e Huang (1997) é apresentado um estudo de extração de regiões aplicado ao problema especifico de localização de placa de veículo. Neste artigo, é apresentado uma abordagem para extrair, seguir e binarizar os caracteres em placas dos veículos em movimento. A hipótese de base é que uma placa

7 Alessandra Bussador e Miguel D. Matrakas 69 de veículo consiste em caracteres escuros em um fundo claro. A região do texto de uma placa é localizada a partir da informação de textura. Um processo de warping é empregado para corrigir a distorção de perspectiva no momento da aquisição da placa. O problema de localização da placa é tratado como a localização de texto em imagens. Na solução apresentada foi utilizado um método da variação espacial para identificar a região do texto. Para cada pixel na região marcada como texto, computam-se as derivadas parciais usando-se janelas de tamanho 5x5. A binarização dos caracteres da placa emprega de forma simultânea a informação temporal e regional sob a estrutura de campos aleatórios de Markov (MRF). O processo é otimizado utilizando-se Algoritmos Genéticos. Os autores não forneceram nenhum dado numérico referente ao desempenho do sistema e a qualidade dos resultados obtidos 2.4 Sistema de localização baseado em redes neurais Kim apresenta um método de localização de placas utilizando redes neurais (Kim et al., 1999). As redes neurais são utilizadas como filtros que produzem uma classificação baseada em janelas locais dos pixels da placa e do fundo da imagem, analisando as propriedades de cor e textura de uma placa. O pós processamento destas imagens filtradas encontra as bounding boxes da placa. As razões para usar redes neurais como filtros são que elas não necessitam de algoritmos de estimação do parâmetro explícitos e também por serem robustas na presença de ruídos. Duas redes neurais (TDNNs) são utilizadas como filtros que independentemente analisam as seções horizontais e verticais da imagem. Segundo os autores, este método é robusto por não ser afetado pelo ruído e por degradações devido à estabilidade das redes neurais. Testes com duas bases, a primeira contendo 200 imagens de veículos na entrada de um estacionamento, e a segunda composta de 200 imagens de veículos na estrada mostraram taxas de extração de 99 e de 97,5% respectivamente. 2.5 Sistema de segmentação de placas baseado em morfologia matemática O método de segmentação proposto por Bussador é constituído de seis etapas, descritas a seguir (Bussador, 2001): Etapa 1: Pré-processamento Após a conversão das imagens para níveis de cinza, realiza-se a aplicação do processo de tophat na imagem para ressaltar os seus vales, facilitando assim a

8 70 Estudo da aplicabilidade das técnicas de morfologia... marcação das letras da placa do veículo no processo de granulometria que será aplicado na seqüência. No tophat são utilizadas 3 iterações com o elemento estruturante quadrado. Em seguida, uma redução da complexidade da imagem se faz necessária, para reduzir o tempo de processamento da granulometria. Portanto, optou-se por homogeneizar as regiões da imagem diminuindo-se o número de pequenos elementos e acelerando em muito o processo de granulometria. O processo de redução da complexidade é realizado dividindo-se o nível de cinza de cada um dos pixels da imagem por um fator de redução da complexidade. O valor do fator de redução da complexidade, que é 64, foi determinado empiricamente. Etapa 2: Peneiramento por granulometria Na fase de processamento, a granulometria em níveis de cinza é utilizada para a obtenção de marcadores dos dígitos da placa do veículo. O processo da granulometria utilizado é uma combinação das abordagens apresentadas em (Vincent, 1994) e em (Guimarães, 1999). Etapa 3: Marcação do conteúdo da placa O algoritmo de granulometria apresentado em (Vincent, 1994) é utilizado para obter-se um perfil dos tamanhos horizontais dos objetos presentes na imagem. Este perfil de tamanhos é utilizado no lugar dos resíduos morfológicos no algoritmo de mapeamento descrito por (Guimarães, 1999), o que resulta na imagem com os marcadores das letras das placas dos veículos. Utilizando esta imagem de marcadores, e como máscara a imagem resultante do processo de eliminação da complexidade da imagem, é aplicado o processo de reconstrução dual (Facon, 1996). Desta forma, o resultado desta reconstrução deve conter as letras que constituem as placas dos veículos. Etapa 4: Localização dos componentes Para a localização dos componentes da imagem, resultado da reconstrução, que indicarão o posicionamento da placa do veículo na imagem, é adotado o processo descrito a seguir: - cálculo do histograma de distribuição de níveis de cinza; - determinação do nível de cinza correspondente à região de fundo da imagem, região com o maior número de pixels; - busca por grupos de pixels cujo nível de cinza seja de maior intensidade que a região de fundo; - anotação da posição dos pixels mais a esquerda, a direita, acima e abaixo, do grupo de pixels encontrado. Etapa 5: Redução do número de componentes O resultado obtido na localização de componentes normalmente apresenta um elevado número de

9 Alessandra Bussador e Miguel D. Matrakas 71 elementos indesejáveis. Estes componentes estão presentes por possuírem características de tamanho e cor semelhantes aos dígitos das placas. Portanto foram determinadas algumas regras para a redução do número de componentes na imagem. Estas regras estão listadas a seguir: - componentes que estão localizados na borda da imagem são desconsiderados; - componentes que possuem uma das sua dimensões, altura ou largura, muito maior que a outra são desconsiderados (85% de diferença); - componentes cujas dimensões estão acima de 85% das médias de tamanho de todos os elementos da imagem são desconsiderados; - componentes cujas dimensões estão abaixo de 35% das médias de tamanho de todos os elementos da imagem são desconsiderados; - componentes que estão alinhados com menos de três elementos na horizontal são desconsiderados, pois considera-se que pelo menos 3 caracteres da placa serão encontrados; - componentes cujo número de pixels não pertencente ao valor de referência para o fundo da imagem (calculado no processo de localização dos componentes) que estão acima de 85% ou abaixo de 35% são desconsiderados. A aplicação destas regras no conjunto de componentes localizados na imagem resulta na manutenção dos componentes que se encontram na região da placa do veiculo. Etapa 6: Localização da posição da placa do veículo Após a filtragem dos componentes foi realizado o seguinte processo em 4 passos para a determinação da localização da posição da placa do veículo: a. determinação do limiar de cada um dos componentes da imagem utilizando o algoritmo de OTSU (Otsu,1979); b. determinação do nível de cinza de maior incidência no fundo da imagem para cada um dos componentes. A busca deste nível de cinza é realizada nos pixels cujos níveis de cinza são de menor intensidade que o limiar resultante da aplicação do algoritmo de OTSU; c. cálculo da média dos valores dos níveis de cinza de maior incidência em cada um dos componentes encontrados no passo (b); d. determinação da região definida por níveis de cinza com intensidade maior ou igual á média encontrada no passo (c). A região determinada com este processo encerra a placa do veículo. A figura 5 ilustra o resultado da localização de uma placa de veículo. Os resultados obtidos com a aplicação do método proposto neste trabalho foram considerados

10 72 Estudo da aplicabilidade das técnicas de morfologia... para a resolução de problemas que envolvem este nível de complexidade. Os resultados obtidos nos experimentos foram: - 75% de acerto na localização das placas - 81% de acerto na segmentação dos caracteres corretamente localizados O tempo de processamento foi de 28 segundos em um microcomputador com processador Pentium II de 350 MHz e 128 MB de memória RAM. 3 Análise dos resultados FIGURA 5 - LOCALIZAÇÃO DA PLACA como satisfatórios levando em consideração as diferentes situações das imagens analisadas, a complexidade da imagem e a não utilização de algoritmos clássicos Os resultados obtidos dos sistemas analisados neste estudo permitiram destacar algumas características interessantes para avaliar o processo de segmentação e reconhecimento de placas de veículos. Estes resultados estão quantificados na Tabela 1. TABELA 1: TABELA COMPARATIVA DOS MÉTODOS DE LOCALIZAÇÃO E RECONHECIMENTO Características Relevantes Morfologia Matemática SIAV CLPR Markov Redes Neurais Independência do posicionamento da placa Sim Sim - Sim Sim Independência do fator de luminosidade Sim Sim Sim Sim Sim Fotos contendo mais de um veículo Sim Fotos em perspectiva Sim - - Sim - Taxa de acerto na localização da placa 75% 98% 94% - 97,5% Taxa de acerto no reconhecimento da placa - 28% 94% - -

11 Alessandra Bussador e Miguel D. Matrakas 73 4 Conclusões Neste trabalho foi apresentado um estudo comparativo sobre técnicas para localizar, extrair e reconhecer os caracteres em placas de veículos particulares utilizando, para isto, técnicas de morfologia matemática, algoritmos genéticos e redes neurais. A comparação entre todos os sistemas demonstra as diferentes preocupações quanto aos fatores de relevância que são levados em consideração no momento de projetar o sistema ou escolher a técnica a ser aplicada. Um fato a ser destacado é a preocupação com o posicionamento do placa do veículo e os fatores de iluminação da mesma, sendo estes os fatores de maior peso para a obtenção de boas taxas de localização e reconhecimento dos dígitos das placas. Testes com situações do mundo real mostraram que os sistemas podem localizar os números de placas dos carros, mesmo sob circunstâncias que são distantes do ideal e também reconhecer o conteúdo destas de forma satisfatória utilizando redes neurais e técnicas estatísticas.

12 74 Estudo da aplicabilidade das técnicas de morfologia... Referências bibliográficas BRUGGE, M. H. T.; NIJHUIS J. A. G.; SPAANENBURG L.; SDEVENS J. H. (1999). License plate recognition, kowledge-based intelligent techniques in character recognition. Edited by Lakhmi C. Jain and Beatrice Lazzerini, pp BUSSADOR, A. (2001). Localização automática de placas de veículos em fotos digitais utilizando abordagem granulométrica. Dissertação de Mestrado. Pontifícia Universidade Católica do Paraná, Curitiba, Paraná. CUI, Y.; HUANG, Q. (1997). Automatic License Extration from Moving Vehicles. Siemens Corporate Research, Inc, ICIP. FACON, J. (1996). Morfologia matemática: teoria e exemplos. Curitiba, Brasil. GUIMARÃES, S. J. F. (1999). Filtragem de imagens a partir da sua decomposição em resíduos morfológicos. Dissertação de Mestrado. Universidade Estadual de Campinas. KIM, K. I.; PARK, S. H.; JUNG, K.; PARK, M. H. and Kim, H. J. (1999). The neural network based method for locating car license plate. Proc. ITC-CSCC 99. OTSU, N. (1979). A threshold selection method from gray-level histograms. IEEE Trans. Sys. Man and Cybernnetics, v. SMC9, n.1, pp SOUZA, F. P. C.; SUSIN, A. A. (2000). Sistema de identificação automática de veículos. Disponível em: iee/siav.htm. VINCENT, L.; (1994). Fast grayscale granulometrie algorithms. EURASIP Workshop ISMM 94., Fountainebleau, France, pp