Reconhecimento Automático de Placas de Veículos

Transcrição

1 Reconhecimento Automático de Placas de Veículos Vinicius Bergoli Trentini, Lucas Antonio Toledo Godoy, Aparecido Nilceu Marana Universidade Estadual Paulista - UNESP (Campus de Bauru) Faculdade de Ciências - Departamento de Computação vinicius_trentini@hotmail.com, lucas.toledo.godoy@gmail.com, nilceu@fc.unesp.br Resumo A utilização das placas para o monitoramento e a identificação de veículos trafegando em determinadas áreas é um importante recurso, pois além das placas representarem um atributo único e indivisível para os automóveis, elas estão plenamente visíveis e a mercê de uma possível checagem, sem haver a necessidade da colaboração dos proprietários dos veículos (em oposição ao número do chassi, por exemplo). Neste artigo são apresentados resultados obtidos por um sistema de visão computacional desenvolvido para o reconhecimento automático de placas de veículos em um ambiente externo, capturadas por câmeras de vídeo convencionais. As imagens capturadas pela câmera são pré-processadas para melhorar suas qualidades (removendo-se possíveis ruídos) e visando o tratamento dos efeitos das perspectivas geométricas com as quais as placas se apresentam nas imagens. Além disso, os tamanhos das placas são padronizados por meio de correções de escala para, então, terem os seus caracteres segmentados e reconhecidos por um classificador. O desempenho do sistema foi avaliado utilizando-se imagens de vídeos obtidos em um cenário real, na portaria de um condomínio residencial. Resultados experimentais obtidos indicam que o sistema consegue ter êxito mesmo em condições pouco favoráveis e com a utilização de câmeras de baixa resolução. 1. Motivação Devido ao crescente número de veículos trafegando pelos centros urbanos, torna-se cada vez mais necessário o controle dos automóveis que passam por determinados lugares, a fim de se manter a ordem e até mesmo a segurança de tais locais caso algo imprevisto venha a ocorrer. Para que isso fique assegurado, é essencial que algum tipo de controle seja implementado e uma maneira eficaz de se empregar tal controle é a fiscalização de quais veículos trafegaram por determinados locais durante um dado momento. Constituída, em geral, por um retângulo de metal com caracteres alfanuméricos e cores ao fundo, a placa funciona como um padrão de identificação para os veículos. Para os seres humanos, a localização de placas de veículos em imagens é uma tarefa natural e fácil, mesmo em condições ruins de visibilidade ou conservação da própria placa. Também é natural ao ser humano, a capacidade de diferenciar informações (no caso, imagens) as quais são, sob seu ponto de vista, visivelmente falsas. Entretanto, para sistemas de visão computacional a localização de uma placa em uma imagem com fundo heterogêneo é uma tarefa complexa, pois em geral o processamento é realizado pixel a pixel, utilizando processamento sequencial. Durante o processamento, podem ser localizados muitos padrões falsos positivos que podem estar contidos na imagem. A segmentação e o reconhecimento da placa de um automóvel, a partir de sua imagem, representam um importante recurso em sistemas em que é feito o monitoramento automático desses, pois dessa forma, é possível guardar sua informação mais relevante e mais descritiva. No entanto, a segmentação e o posterior reconhecimento de uma imagem não é algo elementar e existem várias técnicas bastante complexas que podem ser empregadas, as quais oferecem diferentes soluções para o problema utilizando-se de diferentes métodos [8]. Um ser humano devidamente treinado necessita de um tempo da ordem de 5 segundos para conseguir identificar a placa de um automóvel, para, posteriormente, inseri-la em um sistema [1], tempo este que, para ambientes de fluxo intenso de veículos, é inviável. Tendo em vista o contexto apresentado, é fácil concluir que seria bastante funcional um sistema que, dado um ambiente em que o fluxo de automóveis é monitorado por uma câmera, pudesse segmentar as informações relevantes, ou seja, um sistema que pudesse segmentar as placas dos veículos a partir das imagens de vídeo capturadas e, posteriormente, realizar o reconhecimento dos caracteres alfanuméricos que compõem a placa. Daí a motivação para o desenvolvimento do sistema proposto nesse artigo. 2. Pré-processamento da imagem Como as imagens utilizadas pelos computadores são capturadas por outros dispositivos como, por exemplo, câmeras fotográficas ou câmeras de vídeo, elas estão passíveis a erros na captura e posterior representação digital. 267

2 Para que as fases de processamento de imagens possam executar suas tarefas de maneira eficiente e, sobretudo, eficaz, uma fase de pré-processamento pode ser realizada antes do início da segmentação, fase esta responsável por efetuar correções de distorções geométricas as quais foram geradas no momento da captura e também efetuar a eliminação de ruídos [2]. A fase de pré-processamento da imagem pode ser considerada como uma fase preparatória para o processo de localização e reconhecimento em si. Dessa forma, logo após a captura da imagem de entrada (a qual, trata-se de um quadro de vídeo), são realizados alguns tratamentos com o objetivo de deixá-la com a melhor qualidade possível. Primeiramente, transforma-se o padrão de cores da imagem de entrada de RGB para escala de cinza. Tal transformação é necessária tanto para tornar o problema mais simples, quanto para melhorar a acurácia dos resultados nas fases seguintes. Logo após a conversão é aplicado um filtro Smooth [7] no domínio da imagem, que tem por objetivo a suavização da imagem para a eliminação de ruídos. O resultado dessa filtragem é uma imagem borrada em relação à original. No entanto, são eliminadas certas saliências e reentrâncias as quais atrapalham o processo de localização da placa. Após a suavização, realiza-se uma detecção de bordas. Para tanto, aplicase o operador de Canny, citado na literatura especializada como um detector de bordas ótimo [7]. A sequência de imagens apresentada na Figura 1 ilustra os resultados da aplicação dos filtros de suavização e de detecção de bordas. (a) (b) 3. Localização da placa As placas dos automóveis possuem padrões intrínsecos a elas, fruto da padronização imposta a todos os veículos circulantes. A Figura 2 mostra a padronização vigente para as placas de automóveis brasileiros [6]. Sabendo-se da existência dessa padronização, a maioria das abordagens em localização de placas de veículos procura por determinados padrões espaciais nas imagens, tais como a forma da placa, a concentração ou os agrupamentos de cores, a textura, as sequências de caracteres pré-determinadas ou ainda as assinaturas e as variações em escala cinza [3]. Além da procura por padrões numa cena, os quais caracterizam uma placa de automóvel, os algoritmos de segmentação aplicados às placas devem ser robustos o suficiente a ponto de serem capazes de contornar problemas de visualização das placas, do mesmo modo que o ser humano é capaz de fazê-lo. Por exemplo, podem ocorrer situações em que a placa do automóvel apresenta-se encoberta por neblina [4], o que dificulta a visualização da mesma, ou, então, devido à ação do tempo, a placa pode encontrar-se deteriorada. (c) Figura 1: (a) Imagem original; (b) Imagem após a aplicação do filtro de suavização; (c) Imagem obtida após a detecção de bordas. Figura 2: Padronização imposta às placas de automóveis brasileiros [6]. 268

3 É claro que existem situações nas quais nem mesmo os seres humanos conseguem realizar a identificação de uma placa como, por exemplo, quando o automóvel está envolto por uma densa neblina ou, então, quando a placa de um veículo encontra-se tão desgastada de tal forma que seja impossível sua identificação. Tais casos não exigem embora seja desejável que o algoritmo seja capaz de realizar o processo de segmentação com sucesso, devido à grande dificuldade e complexidade contida no processo, apesar dos computadores nos fornecerem recursos de velocidade e de processamento que os seres humanos não possuem e que podem ser explorados. Visto que as placas possuem características geométricas exclusivas, como forma e proporções de comprimento e altura, o uso de técnicas de segmentação focadas em operadores geométricos mostra-se bastante interessante. Assim, a busca pela placa do automóvel em uma imagem resume-se na procura por uma figura geométrica retangular a qual respeite as características de uma placa de automóvel. Tal método é invariante à luminosidade, já que se limita à busca de uma forma geométrica e também pode contornar o problema da visão lateral após alguns tratamentos simples para a retirada da perspectiva (casos em que a placa não é visualizada exatamente de frente causam distorções nas formas dos caracteres). Para que o efeito da perspectiva possa ser retirado, faz-se necessário um reposicionamento dos pixels na imagem. A bibliografia especializada cita especificamente três abordagens as quais atingem tais objetivos. São elas: a translação, a rotação e o scaling [9]. No entanto, somente o reposicionamento dos pixels não é suficiente, pois com a simples aplicação de uma matriz de transformação um pixel pode sobrepor outro e há posições em que nenhum pixel pode ser alocado, gerando posições não alocadas na imagem de saída. Faz-se então necessário aplicar uma interpolação dos pixels vizinhos, com o objetivo de se preencher os espaços não alocados na vizinhança dos pixels. Com a correção da perspectiva realizada, parte-se então para a localização da placa e, para isso, é utilizada a aproximação Douglas-Peucker (DP) [2], capaz de selecionar cada um dos objetos presentes na imagem. Tal aproximação retorna uma sequência de vértices os quais representam os polígonos capazes de englobar o contorno de cada um dessses objetos. Isso é conseguido através da distribuição de uma quantidade mínima de vértices para cada objeto encontrado, quantidade essa capaz de, através da união desses vértices por meio de arestas, englobar totalmente o objeto deixando uma margem mínima de espaço entre o polígono e o contorno real do objeto considerado [2]. No caso do interesse da segmentação baseada na forma dos objetos, como é o caso, é desejável que haja um número mínimo de vértices que não deforme a imagem, mas que, ainda assim, preserve sua natureza morfológica. Isso permite um processamento mais rápido no momento em que for realizada a análise da forma de cada objeto encontrado. Como o objetivo do método é encontrar retângulos, é necessário que seja realizada uma análise em cada um dos polígonos gerados, a fim de que sejam verificados quais deles apresentam características similares às de um retângulo e, consequentemente, a uma placa de automóvel. As características analisadas são as seguintes: O polígono deve possuir quatro vértices; A área do polígono deve ser compatível com a de uma placa de automóvel. Tal área é determinada de forma experimental, por meio da análise das placas encontradas nos vídeos de teste; O polígono deve ser convexo, ou seja, não deve possuir reentrâncias; O ângulo entre duas arestas consecutivas deve ser de 90 graus. O polígono que respeitar as condições impostas acima possui grande chance de ser um retângulo e, consequentemente, a placa de um veículo. Todos os polígonos encontrados com tais características são marcados na imagem para que seja realizada posteriormente uma análise mais minuciosa de cada um deles. 4. Segmentação dos caracteres A segmentação da placa do automóvel em uma cena é uma instância do problema de detecção de regiões de interesse. Pode-se afirmar que essa etapa representa o principal empecilho no reconhecimento de placas de veículos, visto que a realização desta fase atua como base para todo o processamento seguinte [3]. Assim, o baixo desempenho desta etapa bem como sua realização incorreta, pode vir a influenciar diretamente todas as etapas posteriores à segmentação da placa do automóvel. O método desenvolvido para esta etapa percorre cada coluna da imagem segmentada na etapa anterior a fim de que sejam verificadas as quantidades de pixels pretos contidos na referida coluna. Com a imagem previamente binarizada (somente pixels pretos ou brancos), contabiliza-se a densidade simplesmente testando-se se o valor do pixel é zero (corresponde às regiões onde existem caracteres) e, em caso positivo, soma-se uma unidade a uma variável densidade d j onde j corresponde à coluna analisada. A variável densidade guarda, portanto, o número de pixels pretos encontrados em cada coluna da imagem. A Figura 3 apresenta um gráfico onde o eixo das abscissas representa as colunas da imagem segmentada de uma placa, enquanto que o eixo das ordenadas representa os somatórios dos valores dos pixels pretos de cada coluna da imagem da placa. 269

4 Figura 3: Gráfico contendo a quantidade de pixels pretos (eixo y) em cada coluna da imagem (eixo x). Observando-se a Figura 3, pode-se perceber que os caracteres são representados pelos picos se comparados com o fundo da placa, que por sua vez é representada pelos vales e pontos de mínimo. A abordagem desenvolvida para a segmentação dos caracteres utiliza os mínimos locais para separar cada um dos caracteres em relação ao fundo da placa. Os valores de mínimo, bem como suas posições na imagem, utilizados na separação dos caracteres em relação ao fundo da placa são obtidos por intermédio de uma função de análise de máximos e mínimos locais, a qual é aplicada a partir de um ponto inicial até uma distância máxima (para que não seja excedida a largura de um caractere), sempre sendo variadas as posições de início como sendo a posição encontrada pela função na iteração anterior. O processo se repete, com as posições de início e fim dos caracteres sendo encontradas pela referida função, até que sejam encontrados os sete caracteres existentes em uma placa ou, então, até que a última coluna da imagem seja atingida. Dessa forma, conhecidas as coordenadas que delimitam cada um dos caracteres da placa, fica facilitada a tarefa de recortar cada um deles em relação ao fundo da imagem para o posterior reconhecimento. O resultado da aplicação do método pode ser observado na Figura 4. Figura 4: Segmentação baseada nos máximos e mínimos locais, onde cada caractere da placa aparece delimitado pelas barras verticais. 5. Reconhecimento dos caracteres Para o reconhecimento dos caracteres é utilizado o algoritmo Random Trees, também chamado de Random Forests, o qual é um classificador baseado em árvores de decisão e pode reconhecer os padrões de várias classes ao mesmo tempo. O algoritmo é composto por inúmeras árvores, formando assim florestas de decisão [2]. Durante a fase de treinamento, cada árvore das florestas que compõem o algoritmo trabalha da seguinte forma [5]: 1. Caso o número de amostras seja N, então N amostras são retiradas de forma randômica e com substituição dos dados originais. Essas N amostras constituem a base de treinamento; 2. Caso o vetor de características seja constituído de M posições, uma quantidade m (em que m é muito menor do que M) de subseções são escolhidas ao acaso de forma a escolher-se o melhor sub-vetor. Essa pequena representação do vetor de características irá conter as características relevantes desse vetor; 3. Retorna-se então ao passo 1 até que se tenha treinado todas as árvores de todas as florestas. Por não utilizar de forma integral a coleção de dados informada, esse algoritmo é bastante rápido tanto na fase de treinamento quanto na tomada de decisão. Além disso, a sua taxa de acerto é bastante elevada independentemente do tamanho da base de dados considerada, sendo que a sua taxa de erros depende, principalmente de dois fatores [5]: 1. Da correlação entre duas árvores em uma mesma floresta, sendo que, aumentando-se a correlação entre as duas aumenta-se também a taxa de erros; 2. Do peso que cada árvore individual representa na floresta, sendo que um classificador forte diminui a taxa de erros e um classificador mais fraco aumenta essa taxa. É o valor de subseções (m) retiradas do vetor de características que determina a eficiência do algoritmo. Conforme m diminui, diminui a correlação, mas diminui também o poder descritivo da árvore, e quando m aumenta, aumenta a força do classificador, mas aumenta também a correlação entre as árvores. Deve-se, portanto, escolher um limiar de forma que se consiga determinar um ponto ótimo em que o peso do classificador não seja muito afetado e as correlações entre árvores não aumente. Esse limiar é determinado pelo algoritmo baseado na coleção de dados informada. Quando se usa o treinamento com substituição, aproximadamente 1/3 dos dados são deixados de fora da base de amostras. Essas características que foram deixadas de fora são utilizadas para se estimar o erro das árvores adicionadas à floresta e também para calcular o nível de importância que cada vetor de características exerce [5]. Para classificar um novo objeto a partir de um vetor de características, é computada então a decisão de cada árvore de uma dada floresta e aquela classe que receber mais votos favoráveis é a classe atribuída ao caractere sendo reconhecido. 6. Experimentos Os testes do sistema implementado foram realizados utilizando-se vídeos obtidos na portaria de 270

5 um condomínio residencial, durante a operação normal de controle de acesso ao condomínio realizada atualmente pelos porteiros de forma não automatizada. Tais testes foram de suma importância, visto que avaliaram a eficácia do sistema em um ambiente real, ou seja, não manipulado para a sua utilização. Algumas situações que puderam ser observadas consideram a mudança de luminosidade no ambiente, a oclusão da placa, seja devido à passagem de pessoas no espaço entre a câmera e o veículo, ou mesmo devido à presença de outro veículo de forma que este escondesse a placa do primeiro (Figura 5), ou então a parada incorreta do veículo (Figura 6), de forma que o grau de perspectiva lateral fosse excessivamente acentuado, o que pode inviabilizar a identificação correta da placa. Para o reconhecimento da placa, primeiramente determina-se se há um veículo na cena, através do emprego de técnicas de subtração de imagens [2]. A partir de então são analisados 150 quadros consecutivos do vídeo, sendo que em cada um deles é feito o reconhecimento da placa em separado, de forma que o resultado final, devolvido pelo sistema, é aquele o qual mais se repete dada a análise dos 150 quadros. classes: vídeos utilizados para a construção da base de treinamento e vídeos para a execução dos testes. Os vídeos utilizados na fase de treinamento dos algoritmos de reconhecimentos foram empregados na extração dos vetores de características dos caracteres para, então, serem gravados em um arquivo, sendo assim utilizados no posterior treinamento. Vale destacar que a fase de extração dos vetores de características não possui qualquer tipo de contato com os vídeos utilizados nos testes, evitando assim que o sistema fique viciado, ou seja, que reconheça exatamente os mesmos caracteres com os quais foi treinado. A fase de treinamento tem o objetivo de ensinar o algoritmo de reconhecimento a identificar os caracteres por meio da observação dos padrões intrínsecos a cada um deles, de modo que ao se deparar novamente com um objeto que corresponda a determinadas características, ele consiga determinar a reposta correta acerca de qual caractere se trata aquele objeto, assim como nós seres humanos somos capazes de fazê-lo. Para o treinamento foram utilizados três vídeos com duração aproximada de 18, 10 e 3 minutos respectivamente. Desses vídeos foram obtidas 2102 amostras para letras e 2011 para dígitos de placas. Os vetores de características obtidos a partir das amostras de treinamento foram submetidos aos algoritmos de treinamento os quais são distintos para letras e dígitos. Obteve-se então o classificador para o método Random Trees. Após a etapa de treinamento, os vídeos de teste foram submetidos ao classificador para que a eficácia do mesmo pudesse ser avaliada. Nesta etapa foram utilizados dois vídeos, com durações aproximadas de 25 e 20 minutos. 7. Resultados Figura 5: Oclusão da placa do veículo. A Tabela 1 apresenta os resultados obtidos pelo classificador baseado no método de reconhecimento Random Trees para a base de dados descrita na Seção 6. Tabela 1: Resultados obtidos pelo classificador Random Trees. Total de letras % Letras corretamente reconhecidas 59 93,7% Letras não reconhecidas 4 6,3% Total de dígitos % Figura 6: Veículo muito distante da câmera. Para os testes, os vídeos capturados na portaria do condomínio residencial foram divididos em duas Números corretamente reconhecidos 73 86,9% Números não reconhecidos 11 13,1% 271

6 A Figura 7 ilustra uma placa corretamente reconhecida pelo sistema. imagens obtidas com câmeras de melhor resolução e instaladas em posições mais adequadas. Referências bibliográficas [1] DAMBROS, A. L., Sistema de Reconhecimento de Placas de Veículos Automotores. Centro Universitário Feevale, Novo Hamburgo, [2] BRADSKI, G.; KAEHLER. A., Learning OpenCV: Computer Vision with OpenCV Library. Sebastopol, CA, O Reilly Media, Inc., September p. (a) (b) ( c ) Figura 7: (a) Imagem de entrada capturada por uma câmera de vídeo, com a placa localizada automaticamente pelo sistema; (b) Caracteres segmentados após a correta localização da placa na imagem; (c) Resultado retornado pelo sistema, caracterizando o reconhecimento correto da placa do automóvel. 8. Conclusão Esse artigo apresenta resultados obtidos por um sistema automático de reconhecimento de placas de veículos, aplicado em imagens de vídeos obtidos na portaria de um condomínio em uma situação real e rotineira do funcionamento dessa portaria. Através das soluções encontradas, foi possível atender aos requisitos de invariância à luminosidade, além da escala e também da projeção, que em geral são fatores complicadores para esse tipo de sistema. Quanto aos testes realizados, pode-se afirmar que os resultados conseguidos foram bastante satisfatórios, já que a taxa de reconhecimento apresentou-se acima dos 80%, mesmo para uma situação não ideal para o funcionamento do sistema, onde uma câmera de baixa resolução foi utilizada e, além disso, posicionada de forma não favorável. Como trabalhos futuros pretende-se avaliar o sistema com um número maior de amostras, já que o desempenho do classificador Random Trees se mostrou positivamente sensível à variação do número de amostras. Além disso, pretende-se também realizar testes utilizando-se [3] NUÑES, J. R., Segmentação Automática e Classificação em Vídeos Esportivos. Dissertação (mestrado) Pontifícia Universidade Católica do Paraná, Curitiba, [4] Principais Interesses de Pesquisa: Processamento de Imagens e Visão Computacional - Unisinos ( Último acesso em 02 de junho de [5] BREIMAN, L.; CUTLER, A., Random Forests ( RandomForests/cc_home.htm) Último acesso em 03 de dezembro de 2009). [6] Placas de veículos. page=curiosidades&pageid=10&pagina=5. Último acesso em 09 de janeiro de [7] MARANA, A. N.; BREGA, J. R. F., Técnicas e Ferramentas de Processamento de Imagens Digitais e Aplicações em Realidade Virtual e Misturada, Bauru, Canal6 Editora,2008. [8] GUINGO, B. C., Reconhecimento Automático de Placas de Veículos Automotores, Dissertação de mestrado, Universidade Federal do Rio de Janeiro, [9] GONZALEZ, R. C.; WOODS, R. E. Digital Image Processing. 2. ed. Upper Saddle River, NJ, USA, Prentice-Hall,