UNIVERSIDADE ESTADUAL DE FEIRA DE SANTANA BACHARELADO EM ENGENHARIA DE COMPUTAÇÃO JOSÉ FERREIRA DA COSTA NETO

Transcrição

1 UNIVERSIDADE ESTADUAL DE FEIRA DE SANTANA BACHARELADO EM ENGENHARIA DE COMPUTAÇÃO JOSÉ FERREIRA DA COSTA NETO DESENVOLVIMENTO DE UM SISTEMA AFERIDOR DE VELOCIDADE DE VEÍCULOS UTILIZANDO TÉCNICAS DE COMPUTAÇÃO VISUAL FEIRA DE SANTANA 2012

2 JOSÉ FERREIRA DA COSTA NETO DESENVOLVIMENTO DE UM SISTEMA AFERIDOR DE VELOCIDADE DE VEÍCULOS UTILIZANDO TÉCNICAS DE COMPUTAÇÃO VISUAL Trabalho de Conclusão de Curso apresentado ao Colegiado de Engenharia de Computação como requisito parcial para obtenção do grau de Bacharel em Engenharia de Computação da Universidade Estadual de Feira de Santana. Orientador: Prof. Dr. Claudio Eduardo Goes FEIRA DE SANTANA 2012

3

4 Texto dos agradecimentos. AGRADECIMENTOS

5 RESUMO Existem diversas técnicas de visão computacional em aplicações importantes como, por exemplo, reconhecimento de objetos, navegação de robô, detecção de movimentos, entre outras. A estimação de movimento é uma tarefa básica de visão computacional com várias aplicações importantes, como segmentação, rastreamento de objetos, e até mesmo medição de velocidade. Neste trabalho é proposto o uso das técnicas de Visão Computacional para elaboração de um software que detectará a passagem de um veículo em um vídeo, rastreando sua trajetória e posterior reconhecimento dos caracteres presentes em sua placa de licenciamento. Para a detecção do movimento foram testadas algumas técnicas de subtração de fundo disponíveis na literatura e em relação ao rastreamento da trajetória foram avaliados os algoritmos de rotulagem de componentes conectados e matriz de rastreamento. O reconhecimento dos caracteres da placa de uma imagem pode ser subdivida nas tarefas de localização da posição da placa, segmentação dos caracteres e reconhecimentos dos mesmos. Foram avaliadas algumas técnicas disponíveis na literatura no contexto de cada uma dessas subetapas. Os resultados demonstraram que é viável a utilização desse software em um sistema de fiscalização da velocidade dos veículos em uma via. Palavras-chave: Visão Computacional. Subtração de Fundo. Rastreamento de veículos. Reconhecimento de Caracteres.

6 Keywords: Keyword 1. Keyword ABSTRACT

7 LISTA DE FIGURAS Figura 1 Cubo representando o espaço de cores RGB 18 Figura 2 Máscara de convolução do filtro de suavização 19 Figura 3 Máscaras de Sobel nas direções x e y 20 Figura 4 Sistema de coordenadas XY e o Espaço de Hough 20 Figura 5 Detecção de uma linha no Espaço de Hough 21 Figura 6 Fluxo Óptico através de correlação 22 Figura 7 Rotulagem de componentes conectados 25 Figura 8 Passos do algoritmo de rotulagem 26 Figura 9 Diagrama de blocos para o sistema de rastreamento 27 Figura 10 Dimensionamento da placa de carros(mm) 27 Figura 11 Imagem original e intensidades das linhas A e B 28 Figura 12 Etapas do algoritmo de detecção de retângulos 29 Figura 13 Aproximação poligonal Douglas-Peuker 30 Figura 14 Aplicação do filtro de Sobel vertical e a respectiva projeção vertical 31 Figura 15 Aplicação do filtro de Sobel e identificação do ponto de máximo 32 Figura 16 Correção da inclinação da placa 32

8 Figura 17 Estágios do algoritmo de segmentação de caracteres 32 Figura 18 Segmentação dos caracteres a partir da projeção horizontal 33 Figura 19 Eliminação de ruídos da etapa de segmentação dos caracteres 33 Figura 20 Matriz de pixels gerada pela técnica 34 Figura 21 Tipos de bordas usadas na extração das características 35 Figura 22 Diagrama de etapas do primeiro módulo 37 Figura 23 Diagrama de etapas do segundo módulo 37 Figura 24 Máscara produzida pelo Modelo de Fundo Estático 39 Figura 25 Máscara produzida pelo Modelo de Diferença Temporal 40 Figura 26 Máscara produzida pelo Modelo de Média Temporal 41 Figura 27 Máscara produzida pelo Modelo de Fundo Adaptativo 41 Figura 28 Rastreamento de um objeto em cena 42 Figura 29 Rastreamento com dois objetos em cena 42 Figura 30 Oclusão não capturada pelo algoritmo 43 Figura 31 Exemplo 01 - Erro na localização da placa 43 Figura 32 Exemplo 02 - Erro na localização da placa 44 Figura 33 Exemplo 03 - Acerto na localização da placa 44

9 Figura 34 Segmentação completa dos caracteres 45 Figura 35 Erros de segmentação dos caracteres 45 Figura 36 Reconhecimento dos caracteres 46 Figura 37 Localização da placa em um veículo estático 47 Figura 38 Reconhecimento dos caracteres de uma placa de carro estático 47

10 LISTA DE TABELAS Tabela 1 Comparação do impacto da utilização de radares em alguns países 15 Tabela 2 Taxas de mortalidade no trânsito em alguns países (Fonte: OECD-2004) 16 Tabela 3 Resultados obtidos com a técnica de rastreamento de objetos 43

11 LISTA DE SÍMBOLOS

12 LISTA DE SIGLAS OMS LAP CONTRAN Siav OpenCV Organização Mundial da Saúde Leitor Automático de Placas Conselho Nacional de Trânsito Sistema de identificação automática de veículos Open Source Computer Vision

13 SUMÁRIO 1 INTRODUÇÃO CONSIDERAÇÕES GERAIS OBJETIVOS DO TRABALHO ESTRUTURA DO RELATÓRIO FUNDAMENTAÇÃO TEÓRICA IMAGEM E VÍDEO DIGITAIS ESPAÇO DE CORES TRANSFORMAÇÕES LINEARES SUAVIZAÇÃO DETECÇÃO DE BORDAS TRANSFORMADA DE HOUGH SEGMENTAÇÃO FLUXO ÓPTICO SUBTRAÇÃO DE FUNDO RASTREAMENTO DE OBJETOS RECONHECIMENTO DAS PLACAS VEICULARES ETAPA DE LOCALIZAÇÃO DA POSIÇÃO DA PLACA ETAPA DE CORREÇÃO DA INCLINAÇÃO DA PLACA ETAPA DE SEGMENTAÇÃO DOS CARACTERES ETAPA DE RECONHECIMENTO DOS CARACTERES METODOLOGIA RESULTADOS SUBTRAÇÃO DE FUNDO MODELO DE FUNDO ESTÁTICO DIFERENÇA TEMPORAL MÉDIA TEMPORAL MODELO DE FUNDO ADAPTATIVO RASTREAMENTO DE OBJETOS LOCALIZAÇÃO DA PLACA SEGMENTAÇÃO DOS CARACTERES RECONHECIMENTO DOS CARACTERES TESTES DE RECONHECIMENTO COM IMAGENS ESTÁTICAS

14 5 CONSIDERAÇÕES FINAIS REFERÊNCIAS

15 13 1 INTRODUÇÃO 1.1 CONSIDERAÇÕES GERAIS O excesso de velocidade é uma das principais causas de acidentes e mortes no trânsito e é um problema de abrangência mundial. De acordo com a OMS (2008), os acidentes de trânsito ocupam a nona posição (2,1% - 1,2 milhões) no ranking das causas de mortes no mundo. Uma pesquisa realizada em 2008 pela Autostrade per l Italia, empresa responsável pela administração de grande parcela das rodovias italianas, mostrou que mais de 90% dos acidentes fatais são devidos a práticas erradas de condução, e que a cada ano cerca de 60% das mortes nas estradas ocorrem devido ao excesso de velocidade. A relação entre o número e a gravidade dos acidentes de trânsito com a velocidade se evidencia na medida em que o aumento da velocidade proporciona maior dificuldade para controlar o veículo e menor tempo de reação para realizar manobras de desvio ou de frenagem do carro. Além disso, quanto mais rápido se dirige, menor é o campo de visão, o que diminui a percepção espacial e dificulta a avaliação do risco e a tomada de decisão. Caso o acidente seja inevitável, seu impacto é maior, agravando as suas consequências (LOPES; JÚNIOR, 2007). Assim, o monitoramento da velocidade dos veículos em trechos críticos é fundamental para mantê-la em patamares compatíveis com as condições do entorno e, em consequência, reduzir os riscos de acidentes. A fiscalização eletrônica de velocidade, segundo os especialistas, é comprovadamente um dos meios mais eficientes para o controle da velocidade, pois é realizado durante 24 horas por dia. O infrator é detectado e identificado por registro fotográfico, permitindo ao agente da autoridade de trânsito emitir o auto de infração, baseado em dispositivos legais definidos em Lei (Lei n o de 23/09/97, do Código de Trânsito Brasileiro). A grande vantagem da adoção desse sistema de fiscalização é a sua autenticidade, face ao registro da imagem da placa do veículo, data e hora da infração, bem como o número de identificação do equipamento e o local de sua instalação (YAMADA, 2005). O método adotado atualmente no Brasil (e em grande parte do mundo) monitora a velocidade pontual praticada na seção da via onde o equipamento está instalado. Aos motoristas observadores da lei e normas de trânsito, este método possui efeito educativo e de reforço de atitudes saudáveis e seguras no trânsito. No entanto, boa parte dos condutores apenas diminui a velocidade na aproximação do local fiscalizado e, ao ultrapassá-lo, voltam a desenvolver altas velocidades na via. Como no trânsito as atitudes individuais afetam diretamente os veículos próximos, este tipo de reação pode provocar situações mais inseguras do que se o local não fosse fiscalizado. (SARNO et al., 2012) Em estudo feito por YAMADA (YAMADA, 2005), identificou-se que o limite legal de

16 14 velocidade é mais respeitado no local onde se localizam os radares (10,3% dos veículos com velocidade superior) e nas suas proximidades (14,8% com velocidade superior). Logo depois dos radares (26,9% com velocidade superior) e em pontos distantes (21,8% com velocidade superior), o limite máximo de velocidade é muito menos respeitado. Com isto se comprova que a abrangência espacial dos radares fixos é limitada a um pequeno trecho localizado, na sua maior parte, imediatamente antes destes dispositivos. Desta forma, foi criado um novo método de fiscalização automática de velocidade: o monitoramento da velocidade dos veículos pela média desenvolvida em um trecho da via, tipicamente da ordem de um a três quilômetros. Neste método, são instalados nas extremidades do trecho que se deseja supervisionar, equipamentos de fiscalização providos de câmeras que dispõem da tecnologia de leitura automática de placas LAP. O sistema registra os instantes em que o veículo (mesma placa) passou pelas duas seções extremas do trecho, calcula o tempo do percurso e a decorrente velocidade média no trecho. Em determinadas situações instalam-se também pontos de fiscalização intermediários. Este tipo de fiscalização induz os motoristas a manterem sua velocidade dentro dos limites máximos estabelecidos. Os veículos que cumprem o percurso em tempo menor do que o mínimo calculado são registrados e autuados. (SARNO et al., 2012) O Sistema de Controle da Velocidade pela Média no Trecho, vem sendo implantado nos países da União Europeia, impulsionado principalmente pela integração viária internacional do continente e por uma política de prevenção de acidentes. No trabalho de Sarno et. al (SARNO et al., 2012) sintetizou-se o impacto da implantação do novo sistema de fiscalização em quatro países da União Europeia, cujo dados encontram-se na tabela 1. Observa-se na tabela 1 que desde o ano de 2003 já existiam implementações desse novo sistema de fiscalização e percebe-se que cada país optou por fiscalizar diferentes tipos de vias (rodovias, túneis, via expressa). Constata-se também que houve uma grande redução nos índices de acidentes, mortalidade e na velocidade do tráfego. Percebe-se uma significativa melhoria no trânsito dos países citados e ao se analisar os dados da tabela 2, que relacionam as taxas de mortes no trânsito de alguns países, verifica-se que a relação entre o número de mortos no trânsito e a frota de veículos no Brasil é muito maior que as observadas nos países desenvolvidos: 7,6 vezes maior que na Suíça e Suécia; 6,9 vezes maior que no Japão e Reino Unido, etc (FERRAZ; JUNIOR; BEZERRA, 2005). Por esses e outros motivos existe a necessidade da implantação do sistema de fiscalização por velocidade média no trecho aqui no Brasil.

17 15 Tabela 1: Comparação do impacto da utilização de radares em alguns países Sistemas pesquisados Itália Áustria Espanha Reino Unido Nome do sistema Safety Tutor Controle de Trecho Radar de Tramo Average Speed Camera System Extensão monitorada ,3 9,5 11,8 Início da operação Tipo de via instalada Rodovias Túnel Túneis Via e túneis urbano rodoviáriosexpressa rodoviários A13 Velocidade máx. -25% Não Não + 25% informado informado (esperado) Velocidade média. -15% -11,8% Não Não informado informado Taxa de mortalidade -51% -22,8% Não Não informado informado Acidentes com vítimas -27% -48,80% - 30% Não graves (esperado) informado Acidentes com vítimas leves -19% Não informado -32,20% Não informado 1.2 OBJETIVOS DO TRABALHO Neste trabalho, o objetivo, foi desenvolver um software que fizesse a detecção das placas dos carros que transitam em dois pontos de checagem em uma via e com essas informações calcule a velocidade média do veículo nesse trecho com uma margem de erro aceitável. 1.3 ESTRUTURA DO RELATÓRIO Este trabalho está dividido em cinco partes. No próximo capítulo será apresentado a fundamentação teórica, onde os assuntos relacionados e relevantes ao desenvolvimento do trabalho são detalhados e aprofundados. No capítulo três, é apresentada a metodologia adotada para o desenvolvimento das simulações computacionais. No capítulo quatro é detalhada a etapa de simulação e apresentados os resultados, seguido das análises. Por fim, o último capítulo traz as considerações finais e propostas de trabalhos futuros.

18 16 Tabela 2: Taxas de mortalidade no trânsito em alguns países (Fonte: OECD-2004) País Veículos Taxa de por 100 habitantes mortes por habitantes Taxa de mortes por veículos Suíça 66,2 7,1 10,7 7,6 Suécia 55,4 6,0 10,8 7,6 Japão 63,1 7,5 11,9 6,9 Reino Unido 51,3 6,1 11,9 6,9 Alemanha 64,7 8,3 12,8 6,4 Canadá 59,3 9,3 15,7 5,2 Estados Unidos 78,3 14,9 19,0 4,3 França 59,6 12,9 21,6 3,8 Polônia 40,6 15,3 37,7 2,2 Grécia 48,0 19,3 40,2 2,0 Hungria 29,2 14,0 47,9 1,7 Coréia 30,7 14,9 48,5 1,7 Brasil 21,8 17,8 81,7 - Turquia 5,6 14,3 255,4 0,3 Relação mortos/veículos no Brasil e outros países

19 17 2 FUNDAMENTAÇÃO TEÓRICA Este capítulo descreve importantes definições para tornar mais compreensível os conceitos de detecção de movimento, identificação e classificação de objetos. Inicialmente são dados os conceitos de imagens e vídeos digitais e espaço de cores. Em seguida é definida a operação de transformação linear em uma imagem, demostrando algumas aplicações. Na sequência são apresentadas as técnicas existentes para detecção de movimento e rastreamento de objetos em um vídeo digital. Por fim, são detalhados alguma técnicas de reconhecimento de placas veiculares em uma imagem digital. 2.1 IMAGEM E VÍDEO DIGITAIS Segundo Gonzales (GONZALES; WOODS, 2010), uma imagem pode ser definida como uma função bidimensional f (x,y), em que x e y são as coordenadas espaciais e a amplitude de f é chamada de intensidade ou nível de cinza da imagem nesse ponto. Quando as coordenadas (x,y) e os valores de f são finitos e discretos a imagem é classificada como digital. Para criar uma imagem digital é necessário converter os dados contínuos que foram captados por algum sensor para o formato digital. Isso envolve os processos de amostragem e quantização. A digitalização das coordenadas do plano é chamada de amostragem, e a taxa ( x, y) com que ela é feita denomina-se resolução espacial. Para a discretização dos valores de amplitude, os conceitos correspondentes são chamados quantização e resolução radiométrica. Os valores de f (x,y) são normalmente quantizados em 2 p níveis de cinza, onde p é a profundidade da imagem. (HIGASHINO, 2006) [ αi j ] Uma imagem digital de dimensões n m pode ser representada por uma matriz I = n m em que 0 α i j 2 p, onde p indica a profundidade da imagem. Cada elemento α i j dessa matriz é chamado de pixel (picture element). (GONZALES; WOODS, 2010) Um vídeo digital é uma função discreta F(x,y,t), onde x e y representam as coordenadas espaciais de um quadro de número t. Dessa forma, um vídeo digital pode ser tratado como uma sequência de imagens I t (x,y) apresentadas em cada tempo t discreto. Esta série de imagens, quando vistas a uma taxa razoável (15 quadros por segundo, por exemplo), geram a ideia de movimento contínuo para o olho humano. (HIGASHINO, 2006) 2.2 ESPAÇO DE CORES O objetivo de um espaço de cor é facilitar a especificação das cores em alguma forma padronizada, amplamente aceita. Essencialmente, um espaço de cores é uma especificação de um sistema de coordenadas e um subespaço dentro desse sistema onde cada cor é representada

20 18 por um único ponto. (GONZALES; WOODS, 2010) O espaço de cor mais comum é o RGB. As coordenadas deste espaço são as cartesianas de 3 dimensões, e o subespaço é o cubo mostrado na Figura 1. Uma cor é definida pela proporção de intensidade que ela possui de cada um dos componentes primários de cor (vermelho, verde e azul). Assim, cada ponto no interior ou na superfície do cubo RGB especifica uma cor diferente. No ponto (0,0,0) temos a ausência total de cor (preto) e em (1,1,1) está localizada a cor branca. Nos demais vértices do cubo, estão localizadas as cores primárias e secundárias (ciano, amarelo e magenta), formadas pela mistura das cores primárias. Por convenção, todos os valores estão entre 0 e 1, de forma que o cubo RGB é unitário. (HIGASHINO, 2006) Figura 1: Cubo representando o espaço de cores RGB 2.3 TRANSFORMAÇÕES LINEARES Uma série de transformações em imagens são executadas através de operações lineares sobre I(x, y). Operações de suavização e detecção de bordas são exemplos de algoritmos que são implementados através de operações lineares. Um sistema linear, ao receber como entrada o impulso δ(x,y), tem como resposta uma função h(x, y), chamada resposta ao impulso do sistema. A saída de um sistema linear pode ser calculada através da convolução de uma imagem I(x,y) com h(x,y), ou seja, (GONZALES; WOODS, 2010) G(x,y) = m i= m em que representa o operador convolução. n I(i, j) h(x i,y j) (1) j= n Se I(x, y) e h(x, y) são imagens, a operação de convolução transforma-se na soma ponderada de pixels em uma vizinhança. Neste caso, chama-se h(x, y) de máscara de convolução, ou filtro. Após refletir h(x,y) sobre a imagem, calcula-se o valor de G para cada

21 19 pixel (x,y), transladando a máscara refletida até o ponto (x,y) de I e calculando-se a soma ponderada da vizinhança definida por h, onde o peso de cada termo é dado pelos valores de h. (BARROS, 2010) Suavização Considere que h(x, y) seja a máscara de convolução da Figura 2. O cálculo da convolução desse filtro com uma imagem I(x,y) resulta, em cada pixel (i, j), a média dos valores de I(i, j) na vizinhança definida por h. Esse filtro é bastante usado para a suavização da imagem, atenuando os ruídos (HIGASHINO, 2006). Figura 2: Máscara de convolução do filtro de suavização Detecção de Bordas Bordas ou arestas são definidas como locais da imagem em que ocorrem uma mudança de intensidade significante. Normalmente estão localizadas na fronteira entre duas regiões. (GONZALES; WOODS, 2010) Para uma função unidimensional, estas mudanças podem ser detectadas por uma descontinuidade na primeira derivada da função. funções bidimensionais f (x,y) é o gradiente dado por é dada por f = G x G y = O equivalente da primeira derivada para Este vetor f aponta para a direção de maior taxa de crescimento de f. Sua magnitude f = f x f y (2) G 2 x + G 2 y (3) Para o processamento de imagens digitais, recomenda-se aproximações do gradiente através de máscaras de convolução. representado pelas máscaras da Figura 3. Umas das máscaras mais usadas é o operador Sobel, A convolução de uma imagem I(x,y) com a máscara S x calcula uma aproximação do gradiente na direção do eixo x, e S y na direção de y.

22 20 (a) Direção x (b) Direção y Figura 3: Máscaras de Sobel nas direções x e y Transformada de Hough A Transformada de Hough é uma técnica desenvolvida por Paul Hough no início dos anos 60 e é amplamente usada na detecção de linhas e círculos em imagens digitais, sendo possível aplicá-la para correção da perspectiva de um objeto ou ainda inclinação de uma placa veicular (MACEDO, 2005). A representação matemática de uma linha no sistema cartesiano é uma equação do tipo y = ax + b, onde a é um declive e b é o ponto de intersecção com o eixo y. Dessa forma, a linha é um conjunto de todos os pontos (x,y) para os quais esta equação é válida. Sabe-se ainda que a linha contém um número infinito de pontos, assim como há um número infinito de diferentes linhas que passam por um determinado ponto. A relação entre estas duas afirmações é a ideia básica da transformada de Hough (MACEDO, 2005). A equação y = ax + b pode também ser escrita como b = xa + y, em que x e y são os parâmetros. Então, a equação define um conjunto de todas as linhas (a,b), as quais podem atravessar o ponto (x,y). Para cada ponto do sistema de coordenadas XY, existe uma linha no sistema de coordenadas AB (assim chamado "Espaço de Hough") como pode ser visto na Figura 4. Figura 4: Sistema de coordenadas XY e o Espaço de Hough Com isso, aplicando a Transformada de Hough em uma imagem que possui uma linha, os pontos que pertencem a essa linha serão mapeados para o mesmo ponto do Espaço de Hough, gerando um máximo local, facilmente identificado conforme a Figura 5. (MACEDO, 2005)

23 21 Figura 5: Detecção de uma linha no Espaço de Hough 2.4 SEGMENTAÇÃO A segmentação é a primeira das subetapas da detecção de movimento. Segundo Higashino (HIGASHINO, 2006), ela pode ser definida como a tarefa de identificar os pixels importantes do ponto de vista da aplicação e agrupá-los de alguma forma. No contexto de vídeos digitais, existe uma série de técnicas que segmentam a imagem baseando-se nas variações de brilho/cor no decorrer do tempo. Os métodos utilizados por essas técnicas podem ser subdividas em dois grupos. No primeiro grupo estão as técnicas relacionadas com o cálculo do fluxo óptico. O objetivo desse método é o cômputo dos deslocamentos (e/ou velocidades) em todos os pontos de uma imagem e com isso, aqueles que possuam o mesmo fluxo podem ser agrupados como objetos. A outra abordagem é chamada Subtração de Fundo. Esse método baseia-se na construção de uma imagem como modelo de fundo e a posterior subtração do quadro atual do vídeo com este modelo. Com isso, nas regiões onde houver um objeto em movimento, a subtração dos quadros será diferente de zero, localizando assim o objeto de interesse. Nas próximas seções serão apresentadas as principais técnicas usadas na literatura para a segmentação em vídeos usando esses métodos. 2.5 FLUXO ÓPTICO O Fluxo Óptico é a distribuição das velocidades aparentes dos padrões de brilho numa imagem, ou seja, é um campo de vetores de velocidade associado a uma sequência de imagens. O campo do Fluxo Óptico consiste de um campo em que cada pixel, no plano da imagem, está associado um único vetor de velocidade. Para fins de visualização, o campo é amostrado em uma malha e é chamado de diagrama de agulhas.(barros, 2010) Uma primeira abordagem para o cálculo do fluxo óptico baseia-se em correlação, i.e, a imagem é particionada em blocos retangulares e cada um desses blocos do frame no instante de

24 22 tempo anterior (t 1) é comparado com todos os possíveis blocos dentro de uma janela de busca do frame no instante atual (t), conforme mostrado na Figura 6. A diferença de posição do bloco original com o seu correspondente no frame atual é utilizada como estimação do deslocamento. (HUSSY, 1991) Figura 6: Fluxo Óptico através de correlação Outra abordagem é usar técnicas diferenciais onde a hipótese inicial para a computação do fluxo óptico é a de que a intensidade do brilho entre frames diferentes em uma sequência de imagens é aproximadamente constante em um intervalo de tempo pequeno, ou seja, em um pequeno intervalo de tempo, o deslocamento é mínimo. A velocidade da imagem é computada a partir das derivadas espaço-temporal da intensidade na imagem (BARBOSA et al., 2005). A implementação mais usada dessa técnica é a proposta por Horn (HORN; SCHUNCK, 1981) I x ū + I y v + I t u = ū I x α 2 + Ix 2 + Iy 2, (4) I x ū + I y v + I t v = v I y α 2 + Ix 2 + Iy 2, (5) onde u e u são os vetores velocidade nas direções x e y; ū e ū são os valores médios das velocidades nas direções respectivas em uma vizinhança; I x e I y, os gradientes respectivos e I t é a derivada parcial de primeira ordem em relação ao tempo de I(x,y,t). A partir de duas imagens consecutivas, o Fluxo Óptico realiza uma série de interações a fim de estimar as componentes de velocidade. Inicialmente, o algoritmo utiliza como velocidade inicial igual a zero e a cada interação são calculadas as equações 4 e 5. O processo é repetido até que a diferença de velocidade estimada seja menor que um certo limiar, o que pode tornar o método muito custoso computacionalmente. No trabalho de Oliveira (OLIVEIRA, 2003) é proposta uma nova técnica para detecção do movimento que usa o fluxo óptico, mas que possui uma redução significativa do tempo de

25 23 processamento em relação as outras duas abordagens. O diferencial dessa técnica é aplicar as equações 4 e 5 em apenas parte da imagem que foi previamente selecionada através de uma metodologia de detecção de bordas proposta por Cabestaing (CABESTAING; POSTAIRE; BONNET, 1991). Tal técnica apresentou uma redução de até 25x no tempo de processamento em comparação com a técnica tradicional, o que demonstra o potencial dessa abordagem. 2.6 SUBTRAÇÃO DE FUNDO Segundo Higashino (HIGASHINO, 2006), a subtração de fundo é definida como o conjunto de técnicas para a segmentação de objetos em uma sequência de vídeo que se baseia na construção de um modelo do fundo. A detecção dos objetos é feita subtraindo o quadro atual com o modelo e cada pixel será considerado objeto se diferir consideravelmente do modelo construído. Os algoritmos de subtração de fundo são geralmente divididos em quatro etapas: pré-processamento, modelagem do fundo, detecção e validação. Na etapa de pré-processamento são executadas operações que preparam o vídeo para ser processado. Algumas operações visam apenas melhorar a performance do algoritmo tal como a eliminação de ruídos, redução do tamanho dos frames ou da taxa de quadros por segundo. Outras operações executadas nessa etapa são essenciais para o funcionamento da técnica como a mudança do espaço de cores ou o cálculo do gradiente. A etapa seguinte, modelagem do fundo, é a mais importante entre as etapas e é a principal diferença entre as várias técnicas existentes dessa categoria. Pode-se classificar os métodos de modelagem em duas categorias: Não recursiva: utiliza-se um buffer dos últimos N quadros e a imagem de fundo é estimada baseando-se na variação temporal de cada pixel dentro desse buffer. Recursiva: atualizam recursivamente o modelo a cada novo quadro. Não mantêm buffer de imagens, o que diminui a necessidade de armazenamento. Na sequência é feita a detecção do objeto. Grande parte dos métodos constroem uma única imagem B t (x,y) como uma estimativa de fundo no tempo t e nesses casos aplica-se um limiar à diferença absoluta entre o quadro atual e a estimativa. Ou seja, um pixel será classificado como objeto se I t (x,y) B t (x,y) > T (6) onde T é um limiar constante determinado empiricamente. A saída dessa etapa é uma imagem, chamada máscara de segmentação, cujo valor de (x,y) é 1 no caso do pixel ser classificado como objeto e 0, caso contrário. Pontos considerados como objetos erroneamente são chamados

26 24 falsos positivos e pontos que deveriam ser classificados como objetos e não o foram são os falsos negativos. A última etapa valida os pixels detectados como objetos pela etapa anterior. É nessa etapa que são utilizadas algumas técnicas para remoção dos falsos positivos e negativos, eliminação das sombras dos objetos e fantasmas, que são grandes áreas de falsos objetos. Existem uma gama de algoritmos que implementam a Subtração de Fundo na literatura. A diferença básica entre esses métodos pode ser resumida na escolha do modelo de fundo. Dentre a classe dos algoritmos mais simples de subtração de fundo estão o modelo de fundo estático, média temporal, modelo de fundo adaptativo e a diferença temporal. No modelo de fundo estático, como o próprio nome sugere, a escolha da imagem de fundo é feita manualmente. Apesar de sua simplicidade, ocorre um acúmulo de erros devido a mudanças na cena que não são atualizadas no modelo, causando grandes dificuldades para a detecção dos objetos em movimento. No entanto, em situações controladas, o algoritmo apresenta resultados satisfatórios (RUAS; BENSO, 2006). O algoritmo de média temporal usa uma janela de observação de N frames e calcula o background através da média das intensidades de cada pixel nesse intervalo. Em outras palavras, o modelo de fundo é obtido através da equação 7 (HIGASHINO, 2006). Com isso, o algoritmo torna-se mais robusto as variações na cena observada, adaptando-se a cada novo frame. B t (x,y) = 1 N t I k (x,y) (7) k=t N+1 O modelo de fundo adaptativo assume que o frame inicial é o background e vai atualizando esse modelo à medida que os novos frames vão sendo lidos. A Atualização do modelo é feita pela Equação 8 (BENEZETH et al., 2008) B t+1 (x,y) = (1 α)b t (x,y) + αi t (x,y), (8) onde α é uma constante de atualização empírica. Por último, tem-se o algoritmo de Diferença Temporal. A distinção desse método para o anterior é que nesse, o modelo de fundo para o quadro I t (x,y) é definido como sendo o quadro no instante anterior, ou seja, I t 1 (x,y). O grande problema dessa abordagem é que o interior de objetos móveis que são uniformemente coloridos não são detectados, visto que não há diferença na intensidade em quadros consecutivos (HIGASHINO, 2006).

27 RASTREAMENTO DE OBJETOS Após a segmentação do movimento feito na etapa anterior, deve-se separar os objetos-alvo através de algoritmos de detecção de regiões conectadas, chamados na literatura de algoritmos de Rotulagem de Componentes Conectados. Basicamente, os algoritmos examinam a imagem, designando labels provisórios para cada pixel de acordo com os valores dos pixels vizinhos conectados a ele. Ao término do processo, os pixels que pertencem a um mesmo objeto possuirão um mesmo label, separando assim os diversos objetos presentes na imagem conforme visto na Figura 7 (SANTIAGO, 2012). Figura 7: Rotulagem de componentes conectados O algoritmo mais difundido na literatura para esse fim é o proposto por Chang et. al (CHANG; CHEN; LU, 2004). Esse algoritmo apresenta as seguintes características: Executa em um tempo linear, ou seja, possui complexidade Θ(n) Todos os pixels vão ser rotulados. Pixels em objetos diferentes terão rótulos diferentes. Conceitualmente, o algoritmo pode ser dividido em quatro etapas ilustradas na Figura 8. Em (a), quando o ponto do contorno externo, por exemplo A, é encontrado pela primeira vez, é feito a varredura total do contorno até voltar a A atribuindo um label ao pixel A e a todos os pontos do contorno. Em (b), quando um ponto do contorno externo marcado por A é encontrado, seguimos a linha de varredura para encontrar todos os pixels subsequentes pretos (se existirem) e atribuir-lhes o mesmo rótulo de A. Em (c), quando um ponto interno do contorno,

28 26 por exemplo B, é encontrado pela primeira vez, atribuímos o label igual ao do contorno externo do mesmo componente. Em seguida, varre-se o contorno interno contendo B e também atribuir a todos os pontos do contorno o mesmo rótulo de B. Em (d), quando um ponto do contorno interno, digamos B, é encontrado, seguimos a varredura de linha para encontrar todos os pixels subsequentes pretos (se existirem) e atribuir-lhes o mesmo rótulo como B. (a) (b) (c) (d) Figura 8: Passos do algoritmo de rotulagem Após a etapa de rotulagem de componentes conectados, os objetos alvo da aplicação estão separados dos elementos estáticos da cena e estarão disponíveis para o processamento das etapas de mais alto nível. O rastreamento consiste em estabelecer relações temporais entre objetos alvo de quadros de vídeo consecutivos, isto é, identificar, no quadro corrente de um vídeo, a localização dos objetos alvo detectados no quadro anterior (COSTA, 2008). No trabalho de Senior et al. (SENIOR et al., 2006) é proposto um algoritmo de rastreamento de objetos usando a rotulagem de componentes conectados e o cálculo de uma matriz de correspondência. A Figura 9 mostra uma representação esquemática dos componentes principais do sistema de rastreamento proposto no trabalho. O algoritmo descreve cada componente conectado(objeto-alvo) através de uma caixa delimitadora e uma máscara de imagem, que indica quais pixels dentro da região pertencem ao foreground do objeto. Para cada quadro sucessivo, o algoritmo tenta associar cada um dos objetos detectados com um dos rastreamentos existentes. Isto é conseguido através da construção de uma matriz de distâncias, que mostra a distância entre cada uma das regiões de objeto com todos os rastreamentos atualmente ativos. Para objetos em movimento bem separados, a matriz de correspondência (as linhas correspondem aos rastreamentos existentes e as colunas os objetos na segmentação atual) terá, no máximo, um elemento diferente de zero em cada linha ou coluna, associando cada rastreamento com um objeto e cada objeto com um rastreamento, respectivamente. Colunas com todos os elementos em zero representam novos objetos na cena e resultam na criação de um novo rastreamento. Linhas com todos os elementos em zero representam rastreamentos que deixaram de existir, ou que não são mais visíveis. No caso de objetos que se fundem,

29 27 Figura 9: Diagrama de blocos para o sistema de rastreamento dois ou mais rastreamentos corresponderão a um objeto, isto é, uma coluna na matriz de correspondência irá ter mais do que uma entrada diferente de zero. Quando um objeto se divide em vários, um único rastreamento irá corresponder a várias objetos, o que resulta em mais do que um elemento diferente de zero em uma linha da matriz de correspondência. 2.8 RECONHECIMENTO DAS PLACAS VEICULARES O código da placa é o resultado das combinações de 3 letras (26 símbolos, de A-Z) e 4 números (10 símbolos, de 0-9), sendo que cada combinação é distribuída pelo CONTRAN para garantir o padrão de registros dentro da federação. Os diversos elementos da placa são padronizados conforme mostra a Figura 10. Estes elementos são impressos fisicamente em uma chapa de metal, provocando o efeito de alto relevo, e pintados. Figura 10: Dimensionamento da placa de carros(mm)

30 28 Um sistema de reconhecimento de placas é composto principalmente de três módulos de processamento: localização da placa, segmentação dos caracteres e o reconhecimento dos caracteres. Existe um vasto número de publicações em segmentação e reconhecimento de placas na literatura com diferentes abordagens ao problema Etapa de Localização da Posição da Placa O sistema Siav (SOUZA; SUSIN, 2000) baseia-se no padrão de variação tonal para a localização da placa. A ideia é que a área da placa de licença possui um padrão de variação tonal diferente do restante da imagem. Isto faz com que esta região possua uma assinatura padrão facilmente reconhecível, como pode ser visto na Figura 11. Figura 11: Imagem original e intensidades das linhas A e B É perceptível que, nas linhas que passam pela placa, há uma mudança brusca nas intensidades dos pixels na região da placa, devido a característica de conter caracteres inscritos em um fundo comum. O algoritmo busca um conjunto de linhas com essas qualidades para localizar a provável região da placa. Essa busca é feita aplicando um filtro de Sobel em cima de cada uma das linhas da imagem. Conforme visto na seção 2.3.2, esse filtro tem a capacidade de realçar as regiões de bordas, que possuem alto contraste, e suavizar as demais regiões. Em resumo, o algoritmo é composto de quatro fases: 1. As linhas são amostradas em intervalos regulares τ. A escolha do valor de τ depende do tamanho dos caracteres procurados, devendo ser menor que a dimensão vertical dos mesmos. 2. Nesta fase é aplicado um filtro Sobel sobre a linha amostrada. Os picos positivos representam as transições do fundo para os caracteres e os picos negativos o inverso. Os picos menores que um valor θ e os picos negativos são descartados. Uma codificação em função da largura dos picos é feita, resultando em intervalos que representam as distâncias entre os elementos encontrados.

31 29 3. Nesta fase, os intervalos resultantes da fase anterior são analisados quanto a suas dimensões horizontais. Aqueles intervalos que estiverem dentro das dimensões esperadas são agrupados até formarem grupos com dimensões próximas as das placas. 4. Os grupos formados na etapa anterior são analisados e, aqueles cujo número de intervalos estiverem entre o mínimo e o máximo número de intervalos possíveis para os caracteres existentes na placa, são aceitos como candidatos a área da placa. Já no trabalho de Maldonado (MALDONADO, 2006) a localização da placa é feita através de uma técnica de detecção de retângulos, explorando as características da placa. Na Figura 12 é visto as etapas de tal algoritmo. Figura 12: Etapas do algoritmo de detecção de retângulos Em imagens binárias, o contorno de um objeto é descrito como a fronteira que separa este objeto do resto da imagem. Estes contornos são conjuntos de pixels com 4-vizinhos ou 8-vizinhos que rodeiam o objeto. O processo detecção de contornos busca essas fronteiras na imagem. O algoritmo usado pelo autor foi o desenvolvido por Suzuki (SUZUKI; BE, 1985). O objetivo da etapa de aproximação poligonal é captar a essência da forma contida nos contornos obtidos na etapa anterior com o menor número de pontos possível. Nesta fase, cada um dos contornos extraídos anteriormente são aproximados em um polígono. O método usado pelo autor é o algoritmo de aproximação poligonal Douglas-Peuker (DOUGLAS; PEUCKER, 1973), que funciona através da seleção de dois pontos na imagem original, por exemplo P1 e P2 (ver Figura 13). Estes pontos estão conectados por uma linha, o que seria a primeira aproximação à curva. A precisão com que este se aproxima da curva é determinado pelo cálculo da distância d entre todos os pontos da curva e linha. Se estas distâncias são menores do que uma tolerância ε, então a aproximação é boa, e o processo termina. Se não, o ponto que se encontre mais afastado da linha é escolhido como o novo vértice, dividindo-se a linha anterior em dois segmentos. O processo é repetido até que a aproximação seja inferior a tolerância. Nas etapas seguintes, o algoritmo utiliza-se das demais características da placa, como tamanho da área, ângulo entre as extremidades, a razão entre o comprimento e a largura para selecionar apenas uma região de provável localização da placa. Outra técnica que pode ser usada para a localização da posição da placa é a proposta por MARTINSKY (MARTINSKY, 2007). O autor propõe uma abordagem estatística para encontrar a região provável da placa.

32 30 Figura 13: Aproximação poligonal Douglas-Peuker A ideia é que, como uma placa é composta de caracteres e estes produzem um alto número de bordas, é possível prever a posição da placa encontrando os máximos locais da imagem após aplicar um filtro Sobel. Resumidamente, o algoritmo proposto pelo autor tem as seguintes etapas: 1. Aplicação do filtro de Sobel na direção y da imagem (Figura 14(a)). 2. Somar a intensidade dos pixels em cada linha, gerando assim uma projeção vertical da imagem (Figura 14(b)). 3. Encontrar os máximos locais da projeção vertical. Esses máximos representam a provável posição vertical da placa. 4. Aplicar o filtro de Sobel na direção x sobre as regiões pré-selecionadas no passa anterior, calculando as projeções horizontais. 5. As regiões que possuam as maiores magnitudes nas projeções vertical e horizontal possuem grandes chances de ser a correta posição da placa Etapa de Correção da Inclinação da Placa A existência ou não de um etapa de correção da inclinação da placa dependerá do posicionamento do sistema de captura de imagens com a via. No trabalho de MARTINSKY (MARTINSKY, 2007) é proposto uma técnica de correção usando a Transforma de Hough. Os passos dessa técnica podem ser resumidos como: 1. Aplicar um filtro detector de bordas, por exemplo Sobel, na imagem da placa. 2. Aplicar a transformada de Hough. Com isso, as linhas presentes na imagem original serão mapeadas em um mesmo ponto, gerando pontos de alta concentração (regiões avermelhadas na Figura 15). 3. Encontrar o ponto (a m,b m ) de maior concentração no Espaço de Hough. 4. Calcular o ângulo de inclinação da placa através da Equação 9. θ = arctan(a m ) (9)

33 31 (a) (b) Figura 14: Aplicação do filtro de Sobel vertical e a respectiva projeção vertical Tendo calculado o ângulo de inclinação, a rotação da imagem é feita através de uma transformação linear descrita pela Equação 10. A Figura 16 ilustra o resultado da correção da inclinação da placa. 1 tan(θ) tan(θ) 0 0 I rot (x,y) = I [x,y,1] ,[x,y,1] (10) Etapa de Segmentação dos Caracteres No sistema Siav (SOUZA; SUSIN, 2000), inicialmente aplica-se o algoritmo de binarização Niblack sobre a região da placa. Esse algoritmo de binarização calcula para cada pixel da imagem, a média (µ) e o desvio padrão (σ) da vizinhança em torno dele, e a seguir, compara o valor do pixel analisado com o limiar T (x,y) (Equação 12). Se o valor do pixel for maior que T (x, y), ele é considerado pertencente ao fundo, caso contrário, é considerado pertencente à algum caractere (SOUZA; SUSIN, 2000). onde α é uma valor empírico. T (x,y) = ασ(x,y) + µ(x,y), (12)

34 32 Figura 15: Aplicação do filtro de Sobel e identificação do ponto de máximo Figura 16: Correção da inclinação da placa Uma vez que a imagem tenha sido binarizada, o algoritmo irá fazer a busca por dígitos e este consiste em três estágios ( Figura 17): 1. No primeiro estágio, a imagem é analisada a procura de uma região, com o formato de um L invertido, cujos pixels nela contidos estejam todos em branco. 2. Uma barra horizontal é deslocada, de cima para baixo da região, até encontrar o início e o término do elemento. 3. Uma barra vertical é deslocada, da esquerda para a direita da região, até encontrar o início e o término do elemento. Ao término dessa etapa, o algoritmo terá isolado um caractere do restante da imagem. Figura 17: Estágios do algoritmo de segmentação de caracteres No trabalho de MARTINSKY (MARTINSKY, 2007) é usado novamente a técnica de projeção horizontal para encontrar os espaços que separam os caracteres e assim segmentá-los.

35 33 Inicialmente, a imagem é binarizada com um filtro adaptativo, semelhante ao Niblack. O autor parte do princípio que, estando os caracteres bem separados, existirão espaços entre os mesmos e esses espaços serão mapeados para pontos de magnitude elevada na projeção horizontal, como pode ser visto na Figura 18. Figura 18: Segmentação dos caracteres a partir da projeção horizontal Entretanto, a técnica precisa eliminar os ruídos que podem surgir com a binarização. A não eliminação destes artefatos comprometeria significativamente a etapa de reconhecimento dos caracteres. Para contornar esse problema, é aplicado um algoritmo de agrupamento de regiões conectadas, resultando em grupos de pixels onde o de maior tamanho representará o caractere (Figura 19). Figura 19: Eliminação de ruídos da etapa de segmentação dos caracteres Etapa de Reconhecimento dos Caracteres Para reconhecer um caractere a partir de uma representação em bitmap, há uma necessidade de extrair descritores de recurso dessa imagem. Como um método de extração afeta significativamente a qualidade do processo de reconhecimento como um todo, é importante que a extração das características sejam invariantes para as diferentes condições de luz, tipo de fonte utilizada e as deformações provocadas por uma inclinação da imagem (MARTINSKY, 2007).

36 34 O primeiro passo é a normalização do brilho e contraste dos caracteres segmentados. As características de brilho e contraste de caracteres variam devido às diferentes condições de luz durante a captura. Devido a isso, é necessário uma normalização dessa características. Através da equalização do histograma, as intensidades dos segmentos de caracteres são redistribuídas no histograma para obter as estatísticas normalizadas. Os caracteres contidos nos segmentos de imagem devem ser redimensionadas então para dimensões uniformes (segundo passo). Depois disso, o algoritmo de extração de características extrai descritores apropriados a partir dos caracteres normalizados (terceiro passo). No trabalho de MARTINSKY (MARTINSKY, 2007) existem duas técnicas diferentes de extração de características. A primeira técnica, mais simples, consiste em atribuir a intensidade de cada pixel em uma matriz de tamanho igual ao da imagem (Figura 20). Figura 20: Matriz de pixels gerada pela técnica O problema dessa técnica é que bitmaps maiores produzem matrizes extremamente longas, que não são apropriadas para o reconhecimento. Além disso, este método não considera a proximidade geométrica entre os pixels, assim como as suas relações próximas. Duas instâncias ligeiramente tendenciosas do mesmo padrão, em muitos casos produzirão matrizes muito diferentes. Mesmo assim, este método é adequado quando os bitmaps estão muito borrados ou muito pequenos para a detecção de bordas. Em contraste com o método anterior, a técnica de detecção de arestas do caractere não considera o posicionamento absoluto de cada pixel, mas apenas um número de ocorrências de tipos individuais de borda numa região específica do mapa de bits. Devido a isso, o vetor resultante é invariante ao deslocamento intra-regional das arestas, e para pequenas deformações do caractere. Dessa forma, a técnica divide o bitmap em regiões, em seguida, percorre a imagem contabilizando a quantidade de cada um dos tipos de arestas encontradas nessas regiões. O vetor com essas informações é usado para o reconhecimento do caractere. Na Figura 21 são apresentados os 14 tipos de bordas (2x2) definidas pelo autor. As características selecionadas podem então ser utilizadas para o reconhecimento do caractere. Para isso, entretanto, é necessário possuir um bitmap de exemplo para cada uma das letras e dígitos a serem reconhecidos pois o sistema precisará comparar e/ou aprender o padrão

37 35 Figura 21: Tipos de bordas usadas na extração das características de identificação de cada um dos códigos possíveis. euclidiana Uma abordagem mais simples para o reconhecimento do caractere é usar a distância d = N (p i q i ) 2, (13) i=1 onde p i representa o valor de uma das características do caractere a ser reconhecido e q i a respectiva característica do padrão que está sendo comparado. Depois do cálculo da distância euclidiana para todos os padrões, aquele que apresentar o menor valor será considerado como o padrão que melhor se ajusta ao caractere.

38 36 3 METODOLOGIA Para a elaboração do trabalho foram usadas as linguagens Java e C++ e a biblioteca OpenCV. Originalmente, desenvolvida pela Intel em 2000, ela é uma biblioteca multiplataforma, totalmente livre ao uso acadêmico e comercial, para o desenvolvimento de aplicativos na área de Visão Computacional. Esta biblioteca possui um vasto conjunto de funções em C/C++ e implementa alguns dos algoritmos mais usuais de processamento de imagem e visão computacional. A biblioteca foi concebida especialmente para processamento e análise de imagem em tempo real e tem aplicações nas seguintes áreas: interface homem-máquina, identificação de objetos, segmentação e reconhecimento, reconhecimento de faces, detecção de movimento, rastreamento do movimento, entre outras. Outra biblioteca usada neste trabalho foi a BGS Library ( OpenCV C++ Background Subtraction Library). A biblioteca funciona como um adendo ao OpenCV na medida que fornece vários dos métodos de subtração de fundo disponíveis na literatura. Todos os métodos citados neste trabalho já estavam disponíveis nesta biblioteca. Em relação ao rastreamento de objetos, foi utilizada a biblioteca cvblob. Escrita em C++, esta biblioteca usa os algoritmos propostos por Chang et al. (CHANG; CHEN; LU, 2004) e Senior (SENIOR et al., 2006) para as etapas de rotulagem de componentes conectados e posterior rastreamento dos mesmos. O sistema desenvolvido é composto de dois módulos. O primeiro é o responsável por observar o fluxo de vídeo na câmera e fazer a segmentação da imagem com o intuito de identificar os veículos que passam pelos trechos monitorados. O segundo módulo é o de reconhecimento de caracteres da placa. Esse módulo recebe a imagem do carro capturada pela módulo anterior e tenta localizar e reconhecer a placa do veículo salvando essa informação e a hora de captura da imagem. O primeiro módulo do sistema é composto por quatro etapas, como pode ser visto no esquema da Figura 22. Inicialmente o sistema faz a leitura de um frame do fluxo de vídeo da câmera e em seguida, converte essa imagem, que é colorida, para a escala de cinzas. Na sequencia é feita a estimativa do plano de fundo da cena, escolhendo-se um dos métodos de subtração disponíveis. Esses métodos são : Modelo de Fundo Estático, Média Temporal, Diferença Temporal e o Modelo de Fundo Adaptativo. Escolhido o método a ser usado, o sistema calculará a Subtração de Fundo, obtendo assim uma máscara de imagem onde regiões escuras indicam o fundo e regiões claras indicam objetos em movimento. A máscara obtida é usada para próxima etapa, que faz uso da biblioteca cvblob. Essa biblioteca possui o método cvlabel, que implementa o algoritmo descrito em Chang et al.

39 37 Figura 22: Diagrama de etapas do primeiro módulo (CHANG; CHEN; LU, 2004). A saída desse método é uma lista de regiões conectadas (blobs) e suas respectivas coordenadas na imagem. Essa lista de blobs é utilizada para o rastreamento desse objetos nos frames seguintes através do método cvupdatetracks, que implementa o algoritmo de rastreamento proposto por Senior (SENIOR et al., 2006)). Para cada objeto rastreado, o sistema salva uma imagem do mesmo para ser usado no módulo seguinte. O módulo 2 foi concebido também em quatro etapas (Figura 23). Na etapa de localização da placa foram testadas as três abordagens apresentadas na seção Figura 23: Diagrama de etapas do segundo módulo Para o algoritmo de detecção de retângulos foi utilizado o método findcontours da biblioteca OpenCV, que utiliza o algoritmo proposto por Suzuki (SUZUKI; BE, 1985) para o traçado dos contornos na imagem. A aproximação poligonal proposta por Douglas and Peuker

40 38 (DOUGLAS; PEUCKER, 1973) é implementa no método approxpolydp, também presente na OpenCV. Em relação ao algoritmo de localização da placa através da variação tonal foi desenvolvido o algoritmo que é detalhado em Souza (SOUZA, 2000) e foram aplicados os mesmos valores para os parâmetros estabelecidos no próprio trabalho. Já em relação a técnica de localização proposta por MARTINSKY (MARTINSKY, 2007), foi adicionada uma pequena restrição ao algoritmo, devido ao posicionamento da câmera, que ficou ao nível da via nos testes realizados. Com isso, pode-se limitar a busca da localização da placa na metade inferior da imagem sem prejuízos para a eficiência do método. Tal modificação elimina, por si só, falsas posições da placa devido a ruídos no momento da captura. A etapa de correção da inclinação da placa se mostrou necessária devido ao posicionamento da câmera no momento da gravação das imagens. Com isso, foi desenvolvida a técnica de correção apresentada na secção e aplicada na imagem da placa localizada na etapa anterior. Para a etapa de segmentação dos caracteres, foi testado somente o método desenvolvido por MARTINSKY (MARTINSKY, 2007), por ter se mostrado de fácil implementação. A técnica citada em Souza (SOUZA; SUSIN, 2000) parece ser bem mais eficiente, mas não houve tempo hábil para seu desenvolvimento. Em relação a etapa de reconhecimento dos caracteres, optou-se pela utilização da matriz de pixels citada na secção pelos motivos de facilidade de implementação, pelas características das imagens obtidas de não possuírem um grau de nitidez tão alto e pelo tamanho reduzido dos caracteres na imagem da placa, o que dificultaria o êxito da abordagem por detecção de arestas. Além disso, o reconhecimento dos padrões é feito através do cálculo da distância euclidiana explicada na mesma seção.

41 39 4 RESULTADOS Para os testes foram feitas gravações de uma via usando uma câmera com resolução de 1920 x 1080 e com taxa de atualização de frames por segundo. Pelo fato dos vídeos terem sido gravados em condições reais, é natural que existam problemas relacionados com iluminação e vibração da câmera, o que exige mais robustez do sistema para tratar esses erros. 4.1 SUBTRAÇÃO DE FUNDO Foram feitos testes com as seguintes técnicas: Modelo de Fundo Estático, Média Temporal, Diferença Temporal e Modelo de Fundo Adaptativo. Os quesitos de comparação foram o tempo de execução do algoritmo e a qualidade da máscara de fundo gerada por cada uma dessas técnicas Modelo de Fundo Estático Como era de se esperar esse método possui o menor tempo de execução do algoritmo, pelo simples fato de que o fundo é estático, definido no início do fluxo e não é atualizado. Em consequência disso, com o passar dos frames, a mascara vai acumulando erros, até deixar de fazer sentido para a aplicação (Figura 24). O tempo de execução desse método é, em média 16ms. Figura 24: Máscara produzida pelo Modelo de Fundo Estático

42 Diferença Temporal Entre todos os métodos esse foi o que apresentou os melhores resultados. O tempo de execução é o mesmo do modelo estático, visto que a única diferença é que o modelo de fundo é simplesmente o frame anterior, ou seja, sem cálculos extras. Em compensação, pelo fato do background estar sempre se atualizando, os erros não se acumulam e as regiões de movimento são perfeitamente detectadas( Figura 25). Figura 25: Máscara produzida pelo Modelo de Diferença Temporal Média Temporal O teste foi realizado usando uma janela de 3 frames para o cálculo da média. Com isso, o tempo de execução do algoritmo ficou, na média, em 46ms. Em relação a máscara, os resultados obtidos foram muitos próximos do método anterior, sem melhoras significativas( Figura 26) Modelo de Fundo Adaptativo O teste foi realizado usando uma taxa de atualização variando entre α = 0.05 a α = Os resultados obtidos foram bastante insatisfatórios. O tempo de execução do algoritmo ficou, na média, em 47ms. A máscara obtida pelo método não se mostra adequada para aplicação, visto que, mesmo com a presença do fator de atualização do background, o acúmulo de erros devido aos ruídos continuou elevado ( Figura 27)

43 41 Figura 26: Máscara produzida pelo Modelo de Média Temporal Figura 27: Máscara produzida pelo Modelo de Fundo Adaptativo 4.2 RASTREAMENTO DE OBJETOS Os testes de rastreamento são bastante influenciados pela qualidade do background feita na etapa anterior, visto que é a partir dele que é feita a rotulagem dos componentes conectados e a a aplicação do algoritmo de rastreamento. Por conta disso, os testes foram realizados utilizando-se da Diferença Temporal como técnica da etapa anterior devido a qualidade dos resultados apresentados.

44 42 Nos testes realizados o algoritmo se comporta de forma excelente para objetos em movimento que estão bem separados de qualquer outro ( Figuras 28 e 29). Já quando ocorria oclusões, o algoritmo não apresentou os resultados desejáveis ( Figura 30). Outro aspecto importante é que o algoritmo se mostrou bastante robusto com as condições de iluminação ambiente. Em termos estatísticos, o algoritmo conseguiu detectar e rastrear 73 veículos de um total de 82, resultando em uma eficácia de 89 %. Os 9 veículos não detectados foram devido a oclusões que ocorreram. (a) (b) Figura 28: Rastreamento de um objeto em cena (a) (b) Figura 29: Rastreamento com dois objetos em cena A Tabela 3 apresenta os resultados obtidos pela técnica de rastreamento de objetos usada neste trabalho em três situações diferentes de luminosidade. Pelos resultados, nota-se que o método se mostrou robusto as diversas condições de iluminação.

45 43 (a) (b) Figura 30: Oclusão não capturada pelo algoritmo Tabela 3: Resultados obtidos com a técnica de rastreamento de objetos Condições da via Pouco iluminada Iluminação média Muito iluminada 4.3 Total de veículos Acertos Total de oclusões Acertos LOCALIZAÇÃO DA PLACA Em relação a etapa de localização da placa, os testes mostraram que os algoritmos não funcionaram de forma adequada, visto que a taxa de erro foi maior que de acerto. Os três algoritmos citados, detecção de retângulos, variação tonal e projeções vertical e horizontal deixaram a desejar. Ocorre que, como os testes englobaram diferentes condições de iluminação, os algoritmos não conseguiram ser eficientes em todas elas. Na Figura 31(a) verifica-se que somente o método de projeção vertical conseguiu acertar a posição da placa, enquanto que na Figura 31(b), o método de variação tonal conseguiu identificar uma linha correta, que estava dentro dos limites previsto pela projeção vertical. (a) (b) Figura 31: Exemplo 01 - Erro na localização da placa

46 44 Novamente, na Figura 32(a) e 32(b), a variação tonal e a projeção acertam, mas ambos com ruídos, e a detecção de retângulos falha. E finalmente, na Figura 33, os três métodos acertam a posição da placa. (a) (b) Figura 32: Exemplo 02 - Erro na localização da placa Figura 33: Exemplo 03 - Acerto na localização da placa Foram realizados testes com 50 imagens adquiridas da etapa de rastreamento de objeto. Dessas 50 imagens, a variação tonal acertou a posição de 31 placas, a projeção vertical e horizontal - 29 placas e a detecção de retângulos, somente 11 placas. Existiram 4 imagens onde os três métodos acertaram, 20 imagens onde dois métodos acertaram, 19 imagens onde somente um método acertou e 10 imagens onde nenhum dos métodos conseguiu acertar a posição da placa. Essas estatísticas mostram a fragilidade de cada um desses métodos, entretanto, uma abordagem combinando a resposta dos 3 algoritmos obteria uma taxa de acerto de 90%, o que pode ser levado em consideração em trabalhos futuros.

47 SEGMENTAÇÃO DOS CARACTERES Os testes realizados para esse etapa apresentaram resultados medianos. Cerca de 50% das placas localizadas na etapa anterior tiveram a maior parte dos seus caracteres segmentados corretamente e apenas 15% tiveram todos os caracteres segmentados corretamente (Figura 34). Figura 34: Segmentação completa dos caracteres Em boa parte das placas ocorreu dos caracteres ficarem agrupados, ou de um caractere ficar dividido (Figura 35). Uma explicação para a baixa taxa de acerto na segmentação se deve a falta de nitidez dos caracteres, provocando tanto pelo redimensionamento da imagem da placa, como no próprio processo de captura da imagem, que por ser de um objeto em movimento, nunca terá a mesma nitidez que uma imagem de um objeto estático. Figura 35: Erros de segmentação dos caracteres 4.5 RECONHECIMENTO DOS CARACTERES Depois da passagem por todas as etapas anteriores, restaram apenas 7 placas com todos os caracteres segmentados corretamente. Os caracteres dessas placas foram transformados

48 46 em mapa de pixels e calculada a distância euclidiana com cada um dos padrões possíveis de reconhecimento. Dos 49 caracteres existentes, o aplicativo conseguiu reconhecer corretamente 40 padrões (81%), entretanto, apenas uma placa teve todos os seus caracteres reconhecidos (Figura 36). Figura 36: Reconhecimento dos caracteres 4.6 TESTES DE RECONHECIMENTO COM IMAGENS ESTÁTICAS Devido aos resultados das etapas de reconhecimento ficarem fora do esperado, resolveu-se por testar os métodos de localização, segmentação e reconhecimento da placa em um ambiente com iluminação controlada e com imagens de veículos parados com o intuito de dimensionar o problema da qualidade das imagens capturadas com objetos em movimento. Os testes foram feitos com 20 imagens de veículos estáticos, em diferentes condições de iluminação. Em relação a localização da posição da placa, a técnica de detecção de retângulos conseguiu acertar 17 placas, o algoritmo de variação tonal e o de projeções vertical e horizontal conseguiram alcançar 100% de acerto (Figura 37). Em relação a segmentação dos caracteres, 13 placas tiveram todos os caracteres segmentados corretamente; em 4 placas ficaram faltando um caractere da placa e em 3 placas um dos caracteres foi dividido em dois. Uma eficácia muito maior do que a apresentada anteriormente. Da etapa anterior foram segmentados corretamente 116 caracteres, destes, 93 foram reconhecidos através da abordagem do cálculo da distância euclidiana, o que resulta em uma taxa de acerto de 80%. Percebe-se que a taxa de acerto obtida é semelhante a obtida no teste

49 47 (a) Projeção vertical e detecção de retângulos (b) Variação Tonal Figura 37: Localização da placa em um veículo estático anterior. Entretanto, nesse novo teste, das 13 placas corretamente segmentadas, houve um acerto de todos os caracteres em 7 placas (54%), um aumento significativo em comparação ao teste com imagens de veículos em movimento (Figura 38). Figura 38: Reconhecimento dos caracteres de uma placa de carro estático Pelos resultados apresentados, fica visível a influência da falta de qualidade na etapa de captura dos vídeos de testes. Uma explicação para isso é que, talvez, seja necessário uma câmera com uma taxa de gravação superior a 30 frames por segundo, para que as capturas dos veículos não fiquem embaçadas.