Universidade de Brasília Instituto de Ciências Exatas Departamento de Ciência da Computação

Transcrição

1 Universidade de Brasília Instituto de Ciências Exatas Departamento de Ciência da Computação Monitoramento de Tráfego Veicular Terrestre Usando Análise de Movimento em Imagens Sequenciais Esther Arraes Grigati Felipe Braga Camargo Dias Monografia apresentada como requisito parcial para conclusão do Bacharelado em Ciência da Computação Orientador Prof. Dr. Flávio de Barros Vidal Brasília 2015

2 Universidade de Brasília UnB Instituto de Ciências Exatas Departamento de Ciência da Computação Bacharelado em Ciência da Computação Coordenador: Prof. Dr. Homero Luiz Pícollo Banca examinadora composta por: Prof. Dr. Flávio de Barros Vidal (Orientador) CIC/UnB Prof. Dr. Camilo Chang Dórea CIC/UnB Prof. Dr. Aletéia Patrícia Favacho de Araújo CIC/UnB CIP Catalogação Internacional na Publicação Grigati, Esther Arraes. Monitoramento de Tráfego Veicular Terrestre Usando Análise de Movimento em Imagens Sequenciais / Esther Arraes Grigati, Felipe Braga Camargo Dias. Brasília : UnB, p. : il. ; 29,5 cm. Monografia (Graduação) Universidade de Brasília, Brasília, Segmentação de Movimento, 2. Fluxo Ótico, 3. Análise de Trânsito, 4. Fluxo de Veículos. CDU Endereço: Universidade de Brasília Campus Universitário Darcy Ribeiro Asa Norte CEP Brasília DF Brasil

3 Universidade de Brasília Instituto de Ciências Exatas Departamento de Ciência da Computação Monitoramento de Tráfego Veicular Terrestre Usando Análise de Movimento em Imagens Sequenciais Esther Arraes Grigati Felipe Braga Camargo Dias Monografia apresentada como requisito parcial para conclusão do Bacharelado em Ciência da Computação Prof. Dr. Flávio de Barros Vidal (Orientador) CIC/UnB Prof. Dr. Camilo Chang Dórea CIC/UnB Prof. Dr. Aletéia Patrícia Favacho de Araújo CIC/UnB Prof. Dr. Homero Luiz Pícollo Coordenador do Bacharelado em Ciência da Computação Brasília, 13 de Julho de 2015

4 Resumo A obtenção de informações a respeito do fluxo de veículos terrestres em rodovias é um problema para quaisquer entidades que desejem utilizar essas informações, seja para projetar melhorias na infraestrutura, seja para planejar manutenções nas vias. A crescente presença de câmeras digitais nos ambientes urbanos e nas imediações de rodovias representa um estímulo à criação de aplicações que obtêm a partir de imagens sequenciais informações úteis à análise de trânsito. Este projeto propõe a detecção de movimento de veículos em sequências de imagens para determinar a quantidade e a classificação de veículos presentes em cada imagem. Palavras-chave: Segmentação de Movimento, Fluxo Ótico, Análise de Trânsito, Fluxo de Veículos. i

5 Abstract The acknowledgement of terrestrial vehicle flow data in highways configures a problem to whomever entities that want to use that data in order to project upgrades in the infrastructure or to better plan the maintenance in those roads. The growing number of digital cameras in urban environments and at highway premises represents a strong motivation for the design of applications that gather relevant information on traffic analysis from image sequences. This project s proposal is to detect and extract vehicle movement from image sequences in order to measure the amount and determine the type of vehicles in each image. Keywords: Motion Tracking, Optical Flow, Traffic Analysis, Vehicle Flow. ii

6 Sumário 1 Introdução Justificativa e Apresentação do Problema Objetivos Gerais Objetivos Específicos Estrutura deste Trabalho Revisão Bibliográfica Segmentação em Imagens Watershed K-means Segmentação de Movimento Análise de Trânsito Detecção por Modelos Geométricos e Estimação de Movimento via Filtro de Kalman Extendido (EKF) Detecção por Background Subtraction, Rastreamento por Template Matching e Classificação por Forma de Blocos Detecção, Rastreamento e Classificação em Tempo Real através de Características Estáveis Metodologia Proposta Inicialização Conversão da Imagem para Níveis de Cinza Escolha de Pontos Relevantes Fluxo Ótico Cálculo de Atributos do Vetor de Deslocamento Exclusão de Pontos Estáticos Avaliação da Similaridade dos Pontos Agrupamento de Vetores Similares Remoção de Pontos Dispersos Resultados Base de Dados F-measure Discussão Conclusão 42 iii

7 Referências 43 iv

8 Lista de Figuras 2.1 Segmentação de grãos de arroz em imagem com variações de iluminação [16] Exemplo do processo que a aplicação do algoritmo Watershed produz [25] Exemplo dos resultados produzidos pela aplicação do K-means [25] Exemplo de uma imagem com a diferença entre dois quadros consecutivos Exemplo do deslocamento de uma imagem Duas curvas deslocadas de um vetor h Figura para ilustrar o conceito de orientação de um veículo [9] Figura para ilustrar o conceito de modelo de Ackermann para carros [9] Figura que mostra a sequência de um objeto detectado sendo processado antes de ser passado ao rastreador [12] Exemplo de uma situação que precede o cruzamento de trajetórias de veículos [12] Exemplo de uma situação onde existe cruzamento de trajetórias de veículos [12] Figura que ilustra o processo de separação de blocos fundidos, em que a região de corte é a região onde o procedimento de separação de blocos corta o bloco maior, adaptado de [12] À esquerda, tem-se um ângulo de captura mais tradicional, com a câmera mais elevada. À direita, tem-se o ângulo a ser atacado, mais baixo e com mais oclusão, adaptado de [13] Passos do processo de ajuste e calibração do sistema ao ambiente alvo [13] Respectivamente da esquerda para a direita, os processos de Background Subtraction e de seleção de pontos relevantes a rastrear [13] Processo de criação de elemento em ação [13] Exemplos de classificação de veículos, onde os números seguidos de "T" representam objetos classificados como caminhões [13] Fluxograma do algoritmo proposto Exemplo de imagens de saída do conjunto M Exemplo de imagens de saída do conjunto M30-HD Exemplo de imagens dos dois conjuntos de dados Exemplo da área válida nas imagens dos dois conjuntos de dados. Os veículos das áreas em vermelho devem ser desconsiderados na detecção v

9 Lista de Tabelas 3.1 Resultados da contagem de veículos obtidos por Guerrero, adaptado de [9] Resultados de recall obtidos por Guerrero, adaptado de [9] Resultados obtidos por Huang, adaptado de [12] Resultados obtidos por Kanhere, adaptado de [13] Melhores resultados obtidos para o conjunto de imagens M Resultados obtidos no dataset M30 para tamv izinhanca igual a Resultados obtidos no dataset M30 para tamv izinhanca igual a Resultados obtidos no dataset M30 para tamv izinhanca igual a Resultados obtidos no dataset M30 para tamv izinhanca igual a Resultados obtidos no dataset M30 para tamv izinhanca igual a Melhores resultados obtidos para o conjunto de imagens M30-HD Resultados obtidos no dataset M30-HD para tamv izinhanca igual a Resultados obtidos no dataset M30-HD para tamv izinhanca igual a Resultados obtidos no dataset M30-HD para tamv izinhanca igual a Resultados obtidos no dataset M30-HD para tamv izinhanca igual a Resultados obtidos no dataset M30-HD para tamv izinhanca igual a Comparação de resultados de recall vi

10 Capítulo 1 Introdução 1.1 Justificativa e Apresentação do Problema Segundo a Comissão Eletrotécnica Internacional (IEC) [17], o conceito de Smart Cities, isto é cidades inteligentes, é uma vertente de trabalho crescente no cenário de pesquisas mundial. O uso de câmeras e sensores para a captura de informações a serem utilizadas em sistemas que representam essa ideia é essencial, logo aplicações que se utilizam destas formas de coleta de dados têm se popularizado. O processo que transforma a administração de uma cidade na direção de uma maneira sistemática e inteligente, como é proposto pela ideologia de Smart Cities, começa com esforços destinados a criação de sistemas voltados ao benefício dos cidadãos e do meio ambiente. A criação e gerência competente de redes de água, energia elétrica, gás e de saneamento, de sistemas de transporte, comunicação e de elementos como hospitais, delegacias e corpo de bombeiros são indispensáveis à eficácia, à sustentabilidade e à própria sobrevivência da cidade como todo [17]. O desenvolvimento bem sucedido de uma cidade inteligente depende de uma combinação harmônica, centralizada e gerenciável de todos os sistemas essenciais à manutenção dos serviços básicos à população. É possível estender a administração a cada vez mais serviços uma vez que o sistema central é confiável [6]. O enfoque deste trabalho será o ramo de estudo relacionado à automatização de serviços de gerência e controle de transportes. No contexto nacional, o processo de contagem de veículos é utilizado para diversos fins, como estimativas de fluxo para levantamentos de como e onde melhorar a infraestrutura. Este procedimento é feito por meio de funcionários, pessoal destacado para a tarefa de realizar contagens que sirvam de amostras para alimentar modelos estatísticos de estimação de fluxo, ou mesmo por simples extrapolação. Logo, foi encontrada uma demanda por projetos que envolvam a contagem de veículos de maneira automática, que pode ser mais robusta, por não ter limitações quanto ao horário de trabalho e, ainda, eliminar o fato de poder haver falta de variedade de informações devido aos curtos períodos de coleta. O trabalho proposto por Kanhere e Birchfield [13] tem como um de seus objetivos principais realizar contagem de veículos, e compará-la com os valores obtidos através da contagem manual para estimar sua capacidade e precisão. Os trabalhos propostos por Guerrero [9] e Huang e Liao [12] possuem como objetivo realizar detecção, rastreamento e classificação de veículos automaticamente. A presença de esforços de pesquisa com estes 1

11 objetivos fortalece a hipótese de que é possível se utilizar destes meios para se produzir sistemas automáticos de detecção e contagem de veículos. 1.2 Objetivos Gerais O objetivo geral deste trabalho é a implementação de um sistema automatizado que seja capaz de prover melhorias no processo de contagem de veículos em rodovias utilizando segmentação de movimento em sequências de imagens. 1.3 Objetivos Específicos Entre os objetivos específicos do trabalho, pode-se destacar: 1. Contagem absoluta de veículos. 2. Classificação dos veículos em pequenos, médios ou grandes. Busca-se atingir tais objetivos através da aplicação de conceitos em Visão Computacional, tais como a segmentação de imagens e as técnicas de Fluxo Ótico e Clustering. 1.4 Estrutura deste Trabalho Este documento possui mais cinco capítulos em sua estrutura. No Capítulo 2 é feita uma breve revisão bibliográfica de conceitos teóricos que embasam os métodos elaborados no decorrer do projeto. O Capítulo 3 contém uma amostra dos principais trabalhos desenvolvidos na área de análise de trânsito. No Capítulo 4 é apresentada a metodologia desenvolvida para proporcionar uma resolução ao problema proposto. O Capítulo 5 apresenta uma análise dos resultados obtidos a partir do sistema criado. Para finalizar, no capítulo 6, encontram-se algumas conclusões do projeto e os trabalhos futuros. 2

12 Capítulo 2 Revisão Bibliográfica O campo de estudo de Visão Computacional é uma área vasta dentro das Ciências da Computação. Neste capítulo, são apresentados os conceitos relevantes ao entendimento dos métodos desenvolvidos no projeto, que serão posteriormente descritos. 2.1 Segmentação em Imagens Segundo Gonzalez [10], o conceito de segmentar consiste no processo de subdividir uma imagem em elementos e objetos constituintes. O nível (classe ou grupo) a que cada objeto pertence depende do objetivo da segmentação. Isto é, o processo de segmentação deve ser imediatamente interrompido quando um objeto ou elemento de interesse foi detectado [10]. Segundo Szeliski [25], a criação de classes e a distribuição de objetos semelhantes dentre as classes de equivalência criadas configura um problema de agrupamento. No contexto da Visão Computacional, existem diversas técnicas e métodos em forma de algoritmos que foram desenvolvidos com o objetivo de resolver esse desafio, alguns derivados dos métodos desenvolvidos na Estatística e outros elaborados levando-se em consideração particularidades inerentes ao estudo de processamento digital de imagens [25]. A Figura 2.1 apresenta um exemplo de segmentação em imagens. Figura 2.1: Segmentação de grãos de arroz em imagem com variações de iluminação [16]. 3

13 Algumas estratégias como Fluxo Ótico [11] e Background Subtraction [22] possuem similaridades, tal como o fato de cada uma utilizar-se da presença de movimento como critério chave para tentar classificar e categorizar os elementos, de modo que elementos que tem algum tipo de movimento são destacados do restante da imagem. É possível desenvolver técnicas de agrupamento especificamente para um dado problema utilizandose de uma combinação de técnicas existentes, como a segmentação por forma geométrica [9] ou por movimento [13]. Dentre os algoritmos que possuem maior popularidade, tem-se o Watershed [3] e o K-Means [15]. O primeiro é um algoritmo de segmentação por detecção de bordas, e o segundo realiza agrupamento de elementos de forma parametrizada Watershed Segundo Szeliski [25], o algoritmo Watershed é uma técnica relacionada à limiarização, por operar em uma imagem em níveis de cinza. Esta técnica realiza a segmentação da imagem em diversas regiões que agem como bacias de captação. A classificação é feita tomando-se a abstração de que chove na imagem, cada uma das bacias captaria a precipitação e a agruparia [25]. O processamento do algoritmo consiste no cálculo de alguns pontos mínimos da imagem, que servirão de sementes para a expansão das regiões. Quando duas regiões que se originaram de sementes diferentes se encontram, é definida uma fronteira, e esse conjunto de fronteiras define as regiões segmentadas na imagem. Um exemplo da aplicação do Watershed é apresentado na Figura 2.2. (a) Imagem inicial, antes do processamento. (b) Imagem durante o processo de inundação das sementes. (c) Imagem após o processamento. Figura 2.2: Exemplo do processo que a aplicação do algoritmo Watershed produz [25] K-means Segundo Bishop [4], o K-means é um algoritmo que possui um comportamento diferente, pois o número de classes nas quais os objetos serão agrupados depende de um parâmetro pré-definido que é passado ao algoritmo. O parâmetro k define em quantas classes o algoritmo agrupará os objetos, e a escolha deste parâmetro de maneira coerente é indispensável ao bom rendimento e acurácia do algoritmo. É comum que sejam feitas baterias de testes empíricos com diversas variações do valor de k para que o valor seja convenientemente escolhido. O K-means modela a densidade de probabilidades como uma superposição de distribuições esféricas simétricas, não exigindo nenhuma razão ou modelagem probabilística 4

14 pré-determinada [4]. O método desenvolvido pelo K-means procura por k classes, calculando um centro para cada classe e atualizando os valores associados a esse centro de maneira iterativa. No processo de atualização de cada centro, o algoritmo agrupa mais elementos que se alinhem com as características de cada centro, expandindo as regiões [25]. Um exemplo da aplicação do K-means é apresentado na Figura 2.3. (a) Imagem inicial, antes da computação. (b) Imagem final, com as classes separadas por cor. (c) Imagem de um gráfico em 3D do resultado obtido. Figura 2.3: Exemplo dos resultados produzidos pela aplicação do K-means [25] Segmentação de Movimento Segundo Davies [8], é possível extrair informações dos elementos presentes em sequências de imagens por meio da análise de movimento. Para isso, é necessário estabelecer uma correspondência entre os elementos de um quadro com os elementos do próximo. Esta correspondência pode ser obtida detectando-se as regiões da imagem que não se movimentam e analisando o que sobra, como no Background Subtraction, ou realizando a detecção do movimento em si, como no Fluxo Ótico. De acordo com Read e Meyer [18], as sequências de imagens são produzidas com uma alta taxa de amostragem, já que é necessário que o olho humano tenha a percepção de que o movimento dos objetos da cena é contínuo. Portanto, o número mínimo de quadros por segundo utilizado atualmente na captura de vídeos é 24. Desta forma, quadros consecutivos apresentam nível de semelhança bem alto. Isso torna possível obter uma correspondência entre os objetos com a análise das diferenças entre duas imagens consecutivas [8]. De acordo com Gonzales [10], uma das abordagens mais simples para detectar mudanças entre duas imagens é compará-las pixel-a-pixel, obtendo a relação entre as posições dos pixels em um determinado quadro e no quadro seguinte. Isto pode ser realizado com a criação de uma imagem que representa a diferença entre dois quadros consecutivos, como apresentado na Figura 2.4. Considere uma imagem I composta por pixels (x, y) em que t representa o tempo, como na Equação 2.1. { 1, se I(x, y, t i ) I(x, y, t j ) > L d ij (x, y) = (2.1) 0, caso contrário Na Equação 2.1, L representa um limiar especificado. Nessa abordagem, regiões de intensidade constante não fornecem informações de movimento, apenas as bordas com a componente normal à direção do movimento são capazes de fornecer essas informações [8]. Essa ideia, entretanto, pode ser desenvolvida e levar à noção de fluxo ótico. 5

15 (a) Imagem no tempo t i. (b) Imagem no tempo t j. (c) Diferença entre as imagens. Figura 2.4: Exemplo de uma imagem com a diferença entre dois quadros consecutivos. Fluxo Ótico Horn e Shunck [11] definem I(x, y, t) como a função que determina a intensidade de um pixel em um determinado quadro, sua expansão pela série de Taylor pode ser escrita como I(x + dx, y + dy, t + dt) = I(x, y, t) + I x dx + I y dy + I t dt + ɛ (2.2) Na Equação 2.2 os termos I x, I y e I t representam as derivadas parciais de I em relação a x, y e t, respectivamente. Além disso, ɛ representa os termos de ordem maior ou igual a dois. Para o cálculo do fluxo ótico ser possível, deve-se assumir que o brilho de um objeto em movimento deve se manter constante. Isto é, um pixel que se deslocou (dx, dy) no tempo dt deve ter a mesma intensidade que tinha anteriormente. Essa propriedade pode ser escrita como: I(x, y, t) = I(x + dx, y + dy, t + dt). (2.3) Comparando as equações 2.2 e 2.3 e fazendo a diferenciação em relação a t, conclui-se que: dx I x dt + I dy y dt + I t + O(dt) = 0. (2.4) 6

16 Na Equação 2.4, O(dt) vale zero quando dt tende a zero. Portanto, é possível afirmar que: ( ) dx I t = I x dt + I dy y = (I x ẋ + I y ẏ). (2.5) dt A velocidade v de cada pixel pode ser escrita na forma: ( dx v = (v x, v y ) = dt, dy ) = (ẋ, ẏ). (2.6) dt Fazendo a substituição de v na Equação 2.5, a seguinte equação é obtida: I t = (I x v x, I y v y ). (2.7) Sabendo que o gradiente de I é dado pela equação: ( dx I = dt, dy ), (2.8) dt pode-se escrever a derivada parcial de I em relação a t como: I t = I v. (2.9) Então, a componente da velocidade na direção (I x, I y ) é igual a v = I t. (2.10) I 2 2 x + I y A Equação 2.10 representa uma equação escalar e, portanto, não é suficiente para determinar as duas componentes do vetor de velocidade desejadas. Além disso, as bordas paralelas à direção do movimento não fornecem informações relevantes ao cálculo do fluxo ótico. Neste caso, I será normal a v, logo I t será igual a 0. Uma solução para este problema, proposta por Bruce D. Lucas e Takeo Kanade em 1981 [14], consiste em utilizar uma técnica iterativa de estimativa para computar a velocidade. Fluxo Ótico Lucas-Kanade Segundo Lucas e Kanade [14], f(x) e g(x) são funções que determinam o valor de um pixel na posição determinada pelo vetor x em duas imagens. A Figura 2.5 exemplifica essas funções. Deseja-se encontrar o vetor de disparidade h que minimiza a distancia entre f(x + h) e g(x) em uma determinada região de interesse R. Primeiramente, a ideia é desenvolvida para casos unidimensionais e, só então, é estendida para um número maior de dimensões. Em casos unidimensionais, deve-se encontrar a disparidade horizontal h entre as curvas f(x) e g(x), tal que g(x) = f(x + h), isso é exemplificado na Figura 2.6. Para valores pequenos de h, pode-se dizer que f(x) f(x + h) f(x) h = g(x) f(x). (2.11) h 7

17 (a) Imagem dada pela função f(x). (b) Imagem dada pela função g(x). Figura 2.5: Exemplo do deslocamento de uma imagem. Figura 2.6: Duas curvas deslocadas de um vetor h. Portanto, o vetor h pode ser escrito da seguinte forma h g(x) f(x). (2.12) f (x) O valor de h na Equação 2.12 depende do valor de x. Portanto, todo valor que o vetor x assumir implica em um um valor para o vetor h. Para obter uma estimativa de h é necessário calcular a média aritmética de todos os valores de h que foram calculados. Isto 8

18 é, h x g(x) f(x) / f(x) x 1. (2.13) Assim, é importante observar que o sucesso do algoritmo proposto depende do valor de h, este deve ser pequeno suficiente para que a aproximação feita na Equação 2.12 seja adequada. A aproximação linear de f(x) apresentada na Equação 2.11 apresenta melhores resultados em regiões onde f(x) é quase linear. Em regiões em que o valor de f (x) é alto, a aproximação não é tão efetiva. Para aprimorar o cálculo da média de h, é possível atribuir pesos diferentes a cada termo calculado. Isto pode feito de forma que as regiões que apresentem melhores resultados tenham maior influência no resultado do que as regiões em que a aproximação não é tão precisa. O coeficiente de ajuste, portanto, pode ser calculado de maneira inversamente proporcional ao valor estimado de f (x). Uma estimativa para esse valor é escrito na forma: f (x) g (x) f (x). (2.14) h Essa aproximação, descrita na Equação em 2.14, pode ser utilizada para criar o coeficiente de ajuste, o fator constante 1/h é descartado para tal função. Desta forma, o coeficiente que será utilizado é descrito como w(x) = 1 g (x) f (x). (2.15) Utilizando o coeficiente w(x), é possível utilizar uma média ponderada para aperfeiçoar o cálculo do valor médio de h. A equação que realiza esse cálculo pode ser escrita como h x w(x)[g(x) f(x)] / f(x) x w(x). (2.16) Com a estimativa do valor de h calculada, a função f(x) pode ser deslocada de h unidades, então o procedimento deve ser repetido. Desta forma, os valores de h convergirão para o melhor valor de h possível. A iteração pode ser feita de forma similar ao método de Newton-Raphson [19]. O valor de h deve começar com zero, isto é, h 0 = 0. Os próximos valores de h são dados pela expressão h k+1 = h k + x w(x)[g(x) f(x + h k )] / f(x + h k ) x w(x). (2.17) Para estender o procedimento para mais de uma dimensão, algumas alterações devem ser realizadas. Em duas dimensões, a aproximação linear não é feita da forma que foi apresentada, uma vez que o comportamento da Equação 2.12 é indefinido nos casos em que f (x) = 0. Isso pode ser resolvido reescrevendo a aproximação linear da Equação 2.11 como f(x + h) f(x) + hf (x). (2.18) 9

19 O objetivo, então, se torna achar o valor de h que minimiza a diferença entre as curvas, apresentada na equação E = x [f(x + h) g(x)] 2. (2.19) Para minimizar o erro em relação a h, deve-se igualar a derivada parcial de E em relação a h a zero: 0 = E (2.20) h [f(x) + hf (x) g(x)] 2 (2.21) h x = x 2f (x)[f(x) + hf (x) g(x)]. (2.22) Logo, da Equação 2.22 é possível concluir que h f (x)[g(x) f(x)] x. (2.23) f (x) 2 x Essa equação corresponde à encontrada na Equação 2.16 para o caso bidimensional. Neste caso, o coeficiente w(x) é igual a f (x) 2. Portanto, a forma iterativa do procedimento que corresponde a 2.17 é dada por h 0 = 0 (2.24) w(x)f (x + h k )[g(x) f(x + h k )] x h k+1 = h k +. (2.25) w(x)f (x + h k ) 2 x O método apresentado por Lucas e Kanade pode ser estendido para relacionar duas imagens que se relacionam por qualquer transformação linear, tais como rotação e mudança de escala, e não apenas por uma simples translação. Uma relação linear pode ser escrita como g(x) = f(ax + h), (2.26) em que A representa uma matriz contendo a transformação linear entre f(x) e g(x). Neste caso, a minimização que deve ser feita é similar à da equação Ajustando o valor da função f, a minimização é dada por E = x[f(xa + h) g(x)] 2. (2.27) 10

20 Agora, o objetivo é encontrar a matriz de ajuste A e h. Para isso, é necessário utilizar a aproximação: f(x(a + A) + (h + h)) f(xa + h) + (x A + h) f(x). (2.28) x Derivando a Equação 2.28 em relação às variáveis de minimização e igualando o resultado a zero, é gerado um sistema de equações lineares. Para generalizar o algoritmo para duas ou mais dimensões, o erro apresentado na Equação 2.19 deve ser minimizado. A diferença é que, na Equação 2.28, x e h são vetores n-dimensionais. A aproximação linear deve ser feita de forma análoga à feita na Equação Portanto, a aproximação é escrita como f(x + h) f(x) + h f(x). (2.29) x Nesta equação, / x representa o gradiente com relação a x, dado pelo vetor [ x =,,, x 1 x 2 x n A minimização de E é feita de maneira análoga à minimização realizada na Equação 2.22, portanto: ] T 0 = E h h = x x 2 f x [ f(x) + h f (2.30) ] 2 x g(x) (2.31) ] [ f(x) + h f x g(x) Dessa forma, o valor de h pode ser calculado por h = [ x ( ) T f [g(x) f(x)] x ] [ x. (2.32) ( ) T ( ) ] 1 f f x x. (2.33) Esta equação é análoga à Equação 2.23, que é utilizada no caso unidimensional. No caso n-dimensional também é possível gerar uma função de recorrência para calcular o valor de h de forma iterativa. Esta abordagem apresenta restrições quanto ao tamanho do deslocamento, já que a aproximação feita na Equação 2.11 só é válida para valores pequenos de h. Portanto, a solução gerada por Lucas e Kanade [14] se restringe a situações em que o deslocamento é pequeno. Uma solução para esse problema consiste em utilizar uma estratégia multiresolução. Dessa forma, o fluxo ótico é calculado um um nível de baixa resolução e a informação é propagada para os demais níveis. Essa solução é conhecida como Fluxo Ótico Lucas-Kanade Piramidal e foi implementada por Jean-Yves Bouguet em 2000 [5]. 11

21 Fluxo Ótico Lucas-Kanade Piramidal Bouguet [5] define I e J como duas imagens bidimensionais em níveis de cinza, em que I(x, y) representa o valor do pixel na posição x = [x y] T, u = [u x u y ] T um ponto na imagem I e d = [d x d y ] T o vetor de deslocamento de um ponto. O objetivo do algoritmo é encontrar um ponto v = u+d = [u x + d x u y + d y ] T de forma que I(u) e J(v) sejam similares. Para isso, é importante definir a representação piramidal de uma imagem. I 0 é o primeiro nível da imagem, de forma que I 0 = I. Os próximos níveis são denotados por I L, com L = 1, 2,, e são calculados de forma recursiva da seguinte maneira: I L (x, y) = 1 4 IL 1 (2x, 2y)+ 1 8 (IL 1 (2x 1, 2y) + I L 1 (2x + 1, 2y) + I L 1 (2x, 2y 1) + I L 1 (2x, 2y + 1)) (IL 1 (2x 1, 2y 1) + I L 1 (2x + 1, 2y + 1)+ I L 1 (2x 1, 2y + 1) + I L 1 (2x + 1, 2y + 1)). O método do fluxo ótico de Lucas-Kanade piramidal é iterativo. Assim, o fluxo ótico é calculado inicialmente no maior nível da pirâmide (L m ), que corresponde à imagem com a menor resolução, e em seguida nos níveis subsequentes, até chegar no nível 0. A cada iteração são calculados os vetores u L, g L 1 e d L. O vetor u L é dado pelo valor do ponto u na imagem I L. Ele é obtido pela expressão u L = u/2 L. Já g L 1 é o vetor de deslocamento estimado para a próxima iteração (L 1). Assim, ele é calculado com base no vetor estimado na iteração L e no vetor de deslocamento efetivo dessa mesma iteração. É obtido por meio da fórmula g L 1 = 2(g L + d L ). Dessa forma, para obter o vetor de deslocamento efetivo, é necessário encontrar o valor de d L que minimiza a Equação ɛ(d L ) = u L x +ωx x=u L x ω x u L y +ω y y=u L y ω y (I L (x, y) J L (x + g L x + d L x, y + g L y + d L y )) 2 (2.34) Na Equação 2.34, ω x e ω y são dois números naturais utilizados para construir uma vizinhança de tamanho (2ω x + 1) (2ω y + 1) em que a similaridade entre os dois pontos de I e J é avaliada. O vetor de deslocamento resultante pode, então, ser calculado como: d = L m L=0 2 L d L. (2.35) Assim, basta fazer a operação v = u+d para encontrar os pontos v na imagem J que se assemelham aos pontos u da imagem I. 12

22 Capítulo 3 Análise de Trânsito Segundo Buch, Velastin e Orwell [6], a análise automática das atividades de tráfego urbano tem aumentado nos últimos anos. Isto ocorre, em parte, devido ao maior número de câmeras e outros sensores, infraestrutura melhorada e a consequente maior acessibilidade aos dados. Adicionalmente, o avanço de técnicas analíticas para o processamento de sequências de imagens e outros tipos de dados, alinhado com o aumento no poder de processamento das máquinas, tem possibilitado que novas aplicações surjam com grande frequência [6]. Existe uma variedade de abordagens que podem ser usadas para a análise de tráfego utilizando-se de sequências de imagens. Serão apresentadas algumas delas, como o trabalho de Guerrero [9] em 2013, o trabalho de Huang [12] em 2004, e o trabalho de Kanhere [13] em 2008, todos com suas respectivas propostas. Esta seção de análise tem por objetivo contextualizar a proposta de trabalho e apresentar de forma breve algumas outras técnicas que são utilizadas na resolução de problemas semelhantes aos enfrentados na implementação do projeto. Também é importante registrar os resultados obtidos pelo trabalho de Guerrero [9], que será revisitado para comparação na Seção 5.3 deste trabalho. 3.1 Detecção por Modelos Geométricos e Estimação de Movimento via Filtro de Kalman Extendido (EKF) Uma das propostas mais recentes em relação à área de análise automatizada de trânsito tem incorporado à detecção o desafio de estimar a orientação dos objetos detectados [24]. A estimação de orientação dos objetos é feita após o passo da detecção e pode consistir de variadas técnicas e embutir conceitos de implementações de processos de aprendizagem de máquina e inteligência artificial. A primeira abordagem que será revisada utiliza-se de modelos geométricos para a detecção e uma combinação de técnicas após essa fase, utilizando-se o EKF e a estimação de orientação feita através da construção de um modelo de Ackermann [7] para os objetos detectados para realizar o passo do rastreamento dos objetos [9]. O maior desafio para este tipo de projeto é a incorporação do cálculo e estimação das orientações dos objetos de maneira precisa. Para um ser humano, é algo intuitivo e relativamente simples detectar movimentos e, subsequentemente à essa detecção, realizar uma 13

23 associação de tendência de orientação e atribuir àquele objeto detectado alguns atributos subjetivos, como velocidade e direção de seu movimento. Na Figura 3.1 mostra-se como um ser humano é capaz de detectar e estimar os atributos de volume e de orientação de um veículo em um ambiente urbano. Figura 3.1: Figura para ilustrar o conceito de orientação de um veículo [9]. O ser humano é capaz de produzir através de percepção, intuito, instinto e inferências lógicas a noção de que existe um objeto em movimento e inferir em qual direção este movimento se apresenta. Esta noção é de difícil construção para máquinas [9]. Para o processo de detecção do projeto, utiliza-se de modelos geométricos dos objetos a serem detectados, embutindo neste processo informações de semântica e de agrupamento dos objetos. Para isso existem três classes básicas de modelos, um para veículos médios, um para veículos pesados e um último para veículos leves. Essa abordagem utiliza-se das técnicas descritas por Sudowe e Leibe [23] para obter das sequências de imagens detectores utilizados na construção do modelo que é posteriormente fornecido ao módulo de rastreamento do projeto. Uma detecção consiste de uma entidade que possui um timestamp, que é o momento em que foi gerado, que se refere ao índice da imagem na sequência, possui um par de coordenadas x t e y t que definem sua posição em duas dimensões e um atributo θ t que define o ângulo de orientação do objeto detectado. Para o processo de rastreamento é utilizado um vetor de medida calculado para cada objeto detectado, que, além das coordenadas x t e y t e do ângulo de orientação θ t, tem em sua composição o ângulo da direção do veículo φ t e os valores de aceleração linear v t e angular a t, assim como proposto no modelo de Ackermann [7] para carros, apresentado na Figura 3.2. Figura 3.2: Figura para ilustrar o conceito de modelo de Ackermann para carros [9]. 14

24 Os resultados de Guerrero, 2013 [9] foram gerados a partir de três bases de dados: a M-30 que é um conjunto de imagens sobre uma rodovia, a M-30-HD que é sobre mesma rodovia do M-30, porém com uma câmera de maior qualidade de captura e por último o Urban1 que possui imagens de baixa resolução de um ambiente urbano. Os seguintes valores, que foram obtidos para a detecção de objetos com o projeto citado acima, mostram que a estratégia proposta era viável. Segue na Tabela 3.1 os valores de contagem de veículos. Na Tabela 3.2 tem-se os valores máximos de recall, que é um parâmetro calculado por meio da análise de dois atributos: verdadeiros positivos e falsos negativos. O valor de recall é calculado como apresentado na Equação 3.1. V P recall = (3.1) V P + F N Na Tabela 3.1 as entradas da linha EKF sem pose representam a quantidade de carros contados utilizando o Filtro Extendido de Kalman puro. As entradas de EKF com pose representam os resultados obtidos pelo Filtro Extendido de Kalman aliado ao cálculo da orientação de veículo proposto por Guerrero em 2013 [9]. Tabela 3.1: Resultados da contagem de veículos obtidos por Guerrero, adaptado de [9]. M-30 M-30-hd Urban1 Anotado EKF - sem pose EKF - com pose Na Tabela 3.2 as entradas da linha de detecção representam os valores de recall obtidos pela detecção geométrica. As entradas da linha EKF sem pose representam os valores obtidos utilizando o Filtro Extendido de Kalman puro. Já as entradas de EKF com pose representam os valores obtidos pelo Filtro Extendido de Kalman aliado ao cálculo da orientação de veículo proposto por Guerrero em 2013 [9]. Tabela 3.2: Resultados de recall obtidos por Guerrero, adaptado de [9]. M-30 M-30-hd Urban1 Detecção 0,2384 0,4044 0,5132 EKF - sem pose 0,2916 0,5074 0,6518 EKF - com pose 0,3009 0,5241 0,6616 Pode-se observar que em ambos os casos a adição do processamento e da avaliação dos atributos relacionados com a orientação do veículo apresentaram ganhos em relação à aplicação do EKF sozinho. 3.2 Detecção por Background Subtraction, Rastreamento por Template Matching e Classificação por Forma de Blocos. Este trabalho consiste em um sistema que propõe resolver todos os passos que existem entre a obtenção da sequência de imagens como entrada e a entrega de um catálogo de 15

25 objetos detectados, rastreados e classificados como saída. O desenvolvimento de sistemas de trânsito inteligente é importante para a boa administração e manutenção de rodovias, projeto de soluções de trânsito e de novas rodovias baseado na análise do mesmo. O projeto tem como objetivo prover informações acerca dos seguintes temas [12]: 1. Detecção de fluxo do tráfego. 2. Determinação de velocidade dos veículos. 3. Determinação das tendências de mudanças de faixa. 4. Distribuição das classes de veículos no fluxo de determinada rodovia. A proposta consiste em um sistema que realiza a detecção de objetos através da técnica de Background Subtraction [22], assim obtendo blocos de pixels que são, após um processamento de retirada de ruído, atribuição de um identificador e filtragem de tamanho, passados a um sistema de rastreamento. A extração e o processamento de um objeto detectado podem ser observadas na Figura 3.3. Figura 3.3: Figura que mostra a sequência de um objeto detectado sendo processado antes de ser passado ao rastreador [12]. O rastreador realiza uma busca pelo bloco previamente detectado na imagem seguinte e, a cada iteração, guarda valores para calcular a trajetória do objeto. Os mapas de trajetória são usados para detectar oclusão e para determinar quais as tendências de movimentação entre as faixas da rodovia, como apresentado nas Figuras 3.4 e 3.5. Figura 3.4: Exemplo de uma situação que precede o cruzamento de trajetórias de veículos [12]. Quando as trajetórias de dois objetos se cruzam, existe um tratamento para tal. Esse tratamento consiste em um procedimento que procura por um ponto de corte dentro do grande bloco que agora os dois objetos formam juntos. Baseado nas formas que os dois elementos possuíam antes de se fundirem, é procurado no bloco maior um casamento para cada um dos blocos fundadores, de maneira a cortar o bloco grande e obter os dois 16

26 Figura 3.5: Exemplo de uma situação onde existe cruzamento de trajetórias de veículos [12]. Figura 3.6: Figura que ilustra o processo de separação de blocos fundidos, em que a região de corte é a região onde o procedimento de separação de blocos corta o bloco maior, adaptado de [12]. elementos novamente e prosseguir com a análise. Este comportamento é exemplificado na Figura 3.6. O projeto gerou resultados experimentais, após baterias de testes com sequências de images que contavam com a presença de elementos de oclusão. A Tabela 3.3 apresenta em sua coluna Tipo as letras A, B,...G que são subdivisões de um vídeo de 463 segundos que foi usado como base de dados para geração destes resultados.os valores entre parênteses representam o número de veículos que foram afetados de alguma forma por oclusão em cada subdivisão. O valor médio geral de acerto nestas sequências foi de 91,5%. Tabela 3.3: Resultados obtidos por Huang, adaptado de [12]. Tipo Total Percentual de acerto A 206 (11) 98 % B 34 (8) 66 % C % D 10 (5) 93 % E 6 (2) 75 % F 9 (2) 91 % G 3 (2) 80 % 17

27 3.3 Detecção, Rastreamento e Classificação em Tempo Real através de Características Estáveis A abordagem deste trabalho visa lidar com um problema que é inerente à implantação dos sistemas de controle e de colhimento de informações de tráfego via análise de sequências de imagens, o posicionamento das câmeras e suas variações [13]. É destacado que existem, em algumas situações, problemas gerados pela expectativa, na maioria das implementações existentes, de que a câmera fique em uma posição verticalmente superior à da rodovia. Os custos de instalação e manutenção deste tipo de aparelho podem ser elevados se não há postes ou prédios que estejam convenientemente posicionados. O projeto propõe uma implementação que trabalhe com ângulos mais abrangentes e pontos de vista onde a captura ocorre mais próxima ao solo. A Figura 3.7 ilustra através de um mapa de características as diferenças entre os pontos vista: Figura 3.7: À esquerda, tem-se um ângulo de captura mais tradicional, com a câmera mais elevada. À direita, tem-se o ângulo a ser atacado, mais baixo e com mais oclusão, adaptado de [13]. O projeto propõe um algoritmo que consiste de três etapas, as quais são calibração do ambiente, detecção e rastreamento dos objetos. A fase de calibração consiste em uma série de ajustes manuais no sistema para que ele possa identificar as bordas das rodovias, dado que, como proposto, o sistema deve ser robusto com ângulos de captura alternativos aos usuais. A Figura 3.8 ilustra como esse processo é feito: O sistema faz detecção e o rastreamento dos objetos da imagem utilizando-se do rastreador de Lucas-Kanade [14] e utiliza o processo de Background Subtraction [22] para eliminar ruído, pontos que não se movem e sombras. Os pontos que são usados como entrada para as funções são selecionados através da técnica de Good Features to Track. Ambos os processos são providos por funções da biblioteca OpenCV [2], usadas em suas formas padrão no projeto. A Figura 3.9 ilustra esses processos para um objeto. Após o estabelecimento e refinamento dos objetos a serem analisados, o projeto propõe uma reconstrução em 3 dimensões dos objetos, usando as características estáveis de cada 18

28 Figura 3.8: Passos do processo de ajuste e calibração do sistema ao ambiente alvo [13]. Figura 3.9: Respectivamente da esquerda para a direita, os processos de Background Subtraction e de seleção de pontos relevantes a rastrear [13]. um deles. É feito um processo de filtragem de características que gera dois grupos distintos de características, as estáveis e as instáveis. Os atributos do modelo do objeto reconstruído são utilizados para catalogar os veículos em classes, que são duas: carros e caminhões. A Figura 3.10 mostra um objeto se tornando um elemento no sistema e mostra exemplos da detecção e classificação dos veículos no sistema em execução: Figura 3.10: Processo de criação de elemento em ação [13]. Após a separação dos elementos nos dois grupos de veículos, é realizada uma contagem para fins de computar os resultados gerais das classificações realizadas pelo sistema. A seguir tem-se três frames exemplos para ilustrar como o sistema faz as classificações. São agrupados pontos relevantes e é analisada a silhueta criada por estes grupos a fim de classificar o objeto como carro ou caminhão.: Os resultados para o projeto são calculados de forma que todos os veículos que foram segmentados, são avaliados quanto ao rastreamento e a classificação, logo os valores mostrados para o passo de classificação desconsideram os erros de detecção. Na Tabela 3.4 tem-se a coluna Sequência, que enumera os conjuntos de imagens sequenciais que foram utilizados no projeto. Na coluna seguinte, Veículos e (caminhões), há a apresentação dos números gerais de veículos rastreados e o número dos que são especificados como caminhões. Na terceira coluna, Segmentados e (rastreados), tem-se a correspondência entre o que foi detectado e rastreado. As colunas de falsos positivos e classificação são auto-explicativas. 19

29 (a) (b) (c) Figura 3.11: Exemplos de classificação de veículos, onde os números seguidos de "T" representam objetos classificados como caminhões [13]. Tabela 3.4: Resultados obtidos por Kanhere, adaptado de [13]. Sequência Veículos e Segmentados e (caminhões) (rastreados) Falsos Positivos Classificados L1 627 (50) 610 (97%) 3 99,2% L2 492 (56) 481 (98%) 18 97,3% L3 325 (38) 298 (92%) 6 97,2% L4 478 (57) 456 (95%) 8 98,5% L5 217 (14) 209 (96%) 7 98,1% L6 102 (20) 97 (95%) 1 98,0% L7 157 (29) 146 (93%) 6 96,8% S1 104 (7) 98 (93%) 5 97,1% S4 43 (3) 39 (91%) 3 97,6% S8 113 (8) 107 (95%) 4 98,2% S9 51 (5) 47 (92%) 6 94,1% As implementações propostas pelos três trabalhos revisados, Guerrero [9] em 2013, Huang [12] em 2004 e Kanhere [13] em 2008, seguem abordagens distintas para a construção de um sistema que realiza a análise de informações de tráfego de veículos. Com o estudo das principais técnicas de segmentação em imagens e com a revisão das técnicas e dos problemas dos trabalhos analisados neste capítulo, foi possível desenvolver a metodologia utilizada para a construção do sistema proposto por este trabalho. O próximo capítulo apresenta detalhadamente os métodos utilizados pelo algoritmo desenvolvido. 20

30 Capítulo 4 Metodologia Proposta O algoritmo proposto nesta seção para segmentar veículos em imagens de rodovias em tempo real é apresentado em forma de fluxograma na Figura 4.1. O algoritmo processa as imagens iterativamente e em sequência. Os dados são processados sequencialmente entre os módulos, de forma que a saída de cada módulo é utilizada como entrada para o próximo. 4.1 Inicialização O sistema construído recebe como entrada, via linha de comando, um diretório contendo uma sequência de imagens do tipo RGB no formato JPG e um arquivo de imagem opcional no formato JPG que será utilizado como uma máscara para as imagens que serão lidas. As imagens do diretório são indexadas numericamente, o que permite que a leitura seja feita iterativamente. Além de armazenar a imagem assim que ela é lida, imagem que é chamada de imagem atual, também é necessário armazenar a imagem lida na iteração imediatamente anterior, que é chamada de imagem anterior. 4.2 Conversão da Imagem para Níveis de Cinza Tanto a imagem atual quanto a imagem anterior precisam ser convertidas em imagens em escala de cinza para a execução das funções que serão aplicadas posteriormente. Sejam I uma imagem RGB e G uma imagem em níveis de cinza. Assim, I(x, y) e G(x, y) representam o valor do pixel na posição x = [x y] T da imagem. O valor do pixel em I(x, y) é uma tupla composta por três valores, o valor no canal vermelho, no canal verde e no canal azul da imagem. Esses valores são representados por I R (x, y), I G (x, y) e I B (x, y), respectivamente. A conversão da imagem para níveis de cinza é realizada para as duas imagens, a imagem atual e a imagem anterior. Para cada valor de x e y da imagem sendo convertida, é aplicada a Equação 4.1 para obter a imagem em níveis de cinza correspondente [1]. G(x, y) = 0, 299 I R (x, y) + 0, 587 I G (x, y) + 0, 114 I B (x, y) (4.1) 21

31 Figura 4.1: Fluxograma do algoritmo proposto. 4.3 Escolha de Pontos Relevantes No método escolhido para a solução da proposta apresentada, é necessário procurar os pontos de uma imagem na seguinte. Apesar de ser possível utilizar todos os pixels de uma imagem para realizar essa busca, isso não é necessário. Esse fato ocorre porque a maioria 22

32 dos objetos de uma imagem não se move. Portanto, é possível minimizar os recursos computacionais gastos ao selecionar apenas alguns pixels da imagem para rastrear. Para implementar essa escolha de pontos relevantes, foi utilizada a abordagem de Good Features to Track, proposta por Jianbo Shi e Carlo Tomasi em 1994 [20]. A proposta apresentada por eles consiste em criar uma medida para avaliar a qualidade dos cantos de uma imagem. O valor da qualidade é calculado para cada pixel da imagem e é analisado posteriormente. Os pixels que não atingem um valor mínimo de qualidade são descartados. Os pixels restantes são ordenados de acordo com o valor da qualidade em ordem decrescente. Em seguida, para cada pixel da lista, seus pontos vizinhos são removidos da lista, de forma que reste apenas o ponto com maior qualidade na vizinhança. O resultado desta etapa é um vetor de pontos que contém os pixels relevantes para a próxima etapa do algoritmo. Os pontos desse vetor são, em sua maioria, pixels que compõem bordas de veículos que se movimentam na imagem. 4.4 Fluxo Ótico O problema a ser resolvido tem como forte característica o movimento dos objetos que se deseja detectar. É possível afirmar que todo movimento que se detecta nas imagens é oriundo de veículos. Portanto, é possível utilizar um método de segmentação de movimento para obter pontos da imagem que correspondem a veículos. O método utilizado para isso foi o fluxo ótico Lucas-Kanade piramidal. A função utilizada para calcular o fluxo ótico recebe como entrada o vetor de pontos calculado na etapa anterior e as imagens atual e anterior em níveis de cinza. Então, o fluxo ótico é calculado de forma a procurar os pontos do vetor fornecido, que pertencem à imagem anterior, na imagem atual. Essa função tem como retorno dois vetores, um contendo os pontos da imagem anterior e outro contendo os pontos correspondentes na imagem atual. Dessa forma, é possível obter os vetores de deslocamento para todos os pontos considerados como relevantes. 4.5 Cálculo de Atributos do Vetor de Deslocamento Nesta etapa, os dois vetores resultantes da etapa anterior são utilizados para extrair alguns atributos do vetor de deslocamento que serão utilizados nas próximas etapas. Os atributos calculados foram o módulo do vetor de deslocamento e seu ângulo. O módulo do vetor foi calculado por meio da distância euclidiana entre os pontos anteriores e atuais. Isto é, para todo u i = [u x u y ] T pertencente ao vetor de pontos anteriores e v i = [v x v y ] T pertencente ao vetor de pontos atuais, o módulo do vetor de deslocamento d i é dado por: d i = (u x v x ) 2 + (u y v y ) 2. (4.2) 23

33 Já o ângulo de cada vetor de deslocamento d i é calculado como definido pela Equação 4.3. ( ) v arctan x u x v y u y se v y u y θ i = 90 o se v y = u y e v x > u x (4.3) 90 o caso contrário O valor do ângulo é calculado de forma que 90 o θ i 90 o. É importante observar que o ângulo calculado determina a direção do vetor de deslocamento e não é suficiente para determinar o sentido do vetor. Se necessário, o sentido do vetor pode ser obtido por meio da análise dos sinais obtidos na subtração de v x por u x e na subtração de v y por u y. 4.6 Exclusão de Pontos Estáticos A maioria dos pontos contidos nos vetor de pontos anteriores e no de pontos atuais são pontos que pertencem à borda de um veículo. No entanto, existem alguns pontos nesses vetores que pertencem a outros objetos que não se movem. Então, torna-se necessário desconsiderar pontos com esse comportamento. Foram considerados pontos estáticos aqueles cujo módulo do vetor de deslocamento teve valor inferior a um pixel. Esses pontos devem ser removidos dos vetores que armazenam os pontos. Dessa forma, é possível evitar que os pontos estáticos sejam considerados parte de um veículo ao executar a etapa de agrupamento de pontos. 4.7 Avaliação da Similaridade dos Pontos Com os vetores de deslocamento já calculados, é necessário separá-los em diferentes grupos de forma que cada grupo contenha os vetores pertencentes a um veículo. Nesta etapa, os vetores de deslocamento são agrupados de acordo com sua similaridade. Portanto, cada grupo criado deve conter elementos similares entre si e, além disso, elementos que são diferentes daqueles que pertencem a outros grupos. Três critérios foram utilizados para avaliar a similaridade de pontos, os quais foram a vizinhança, a diferença entre os módulos dos vetores de deslocamento e a diferença entre os ângulos desses vetores. O processo de agrupamento é feito a cada quadro, e não há a noção de rastreamento além de duas imagens consecutivas. A vizinhança de um ponto v i = [v x v y ] T, que pertence ao vetor de pontos atuais, é definida por um quadrado com centro em v i e lado de tamanho tamv izinhanca. Portanto, pode ser criada uma função V (v i, v j ) que define se dois pontos são vizinhos, como visto na definição 4.4. Se a função tem resultado um, os pontos são considerados vizinhos. { 1 se vjx v V (v i, v j ) = ix tamv izinhanca/2 e v jy v iy tamv izinhanca/2 0 caso contrário (4.4) A similaridade entre os módulos dos dois vetores de deslocamento pode ser calculada de maneira análoga. É possível criar uma função M(d i, d j ) para avaliar tal similaridade. Para criar essa função, é necessário definir um valor máximo para a diferença entre os 24

34 módulos, esse valor será chamado de modm aximo. A função definida na Equação 4.5 tem como resultado 1 se os vetores de deslocamento são similares em relação aos seus módulos e 0 se não são. { 1 se dj d M(d i, d j ) = i modmaximo (4.5) 0 caso contrário De maneira análoga, o cálculo da similaridade dos ângulos de dois vetores de deslocamento foi feito por meio da criação de uma função A(d i, d j ). O valor máximo para a diferença do ângulo de forma que dois vetores sejam considerados similares com respeito ao ângulo foi chamado de angmaximo. A função definida na Equação 4.6 tem como resultado 1 se os vetores são similares em relação ao ângulo e 0 se eles não são. { 1 se θj θ A(d i, d j ) = i angmaximo (4.6) 0 caso contrário Então, com o auxílio das funções apresentadas nas Equações 4.4, 4.5 e 4.6, define-se que dois vetores de deslocamento são similares se eles são vizinhos e se seus módulos e ângulos são similares. Isso pode ser observado também na Equação 4.7, que tem resultado 1 quando os vetores são similares e 0 quando não são. S(v i, v j, d i, d j ) = V (v i, v j ) M(d i, d j ) A(d i, d j ) (4.7) 4.8 Agrupamento de Vetores Similares Nesse cenário, com os critérios de similaridade definidos, é possível agrupar os vetores de deslocamento para obter quais pontos correspondem a quais veículos. Esse agrupamento é realizado iterativamente. No início da execução, não existe grupo algum, portanto os pontos não pertencem a um grupo. Nesta etapa, os valores máximos para os parâmetros tamv izinhanca, modm aximo e angmaximo não foram utilizados com o mesmo valor dentro de toda a imagem, já que o ponto de vista da câmera nas imagens influencia o tamanho aparente dos veículos quando medido em pixels. Veículos mais próximos da câmera apresentam tamanho maior que os veículos mais distantes. Para resolver esse problema, a imagem foi dividida em quatro regiões, em que cada região tem a mesma largura da imagem original e um quarto de sua altura. Na região em que os veículos estão mais próximos da câmera, o valores dos parâmetros tamv izinhanca, modm aximo e angm aximo não foram alterados. Em cada região seguinte, os valores desses parâmetros foram decrescidos em dez por cento. Essa razão de decrescimento foi determinada empiricamente no decorrer do desenvolvimento do projeto de acordo com a análise da redução do tamanho aparente dos veículos da imagem. Para cada ponto v i pertencente ao vetor de pontos atuais, é verificado se ele é similar a todos os outros pontos v j do vetor por meio do método descrito na etapa anterior. Isto é, o algoritmo verifica se o valor de S(v i, v j, d i, d j ) é igual a um. Caso seja, existem três situações possíveis que podem ocorrer. Caso a função tenha como resultado valor zero, nada é feito. 25

35 A primeira situação acontece quando o ponto v j já pertence a um grupo. Neste caso, o ponto v i deve ser adicionado a esse grupo. Na segunda situação, o ponto v i é o que pertence a um grupo. Analogamente, o ponto v j deve ser adicionado a esse grupo. Na terceira situação, tanto v i quanto v j não pertencem a um grupo. Neste caso, um novo grupo deve ser criado e os pontos v i e v j, adicionados a ele. Para cada grupo obtido, então, são calculados o centro e o raio médios do grupo com o objetivo de determinar uma área circular que contém o veículo a que o grupo corresponde. O centro médio de cada grupo c = [c x c y ] T é calculado como a média ponderada dos valores das coordenadas x e y separadamente de cada ponto v i = [v ix v iy ] T que pertence ao grupo. Seja n o número de pontos que pertence a um grupo, o centro desse grupo pode ser obtido por meio da Equação 4.8. c x = 1 n c y = 1 n n 1 v ix i=0 n 1 (4.8) v iy Por outro lado, o raio r do grupo é calculado como a média ponderada das distâncias de cada ponto v i ao centro do grupo. A Equação 4.9 apresenta como esse raio é calculado. i=0 r = 1 n 1 (v ix c x ) n 2 + (v iy c y ) 2 (4.9) i=0 Ao final da execução, a função que agrupa os vetores retorna um vetor contendo todos os grupos criados, em que cada grupo contém os pontos atuais que pertencem ao grupo e os pontos anteriores correspondentes. 4.9 Remoção de Pontos Dispersos Com os grupos já determinados e seu centro e seu raio já calculados, é possível determinar uma área aproximada para um veículo. No entanto, podem existir ainda alguns pontos que, de fato, não pertencem ao veículo, porém foram selecionados pelo algoritmo de agrupamento. Isto é observado quando um ponto do grupo está muito mais distante do centro que todos os outros. Esse tipo de ponto foi chamado de ponto disperso. Para melhorar a precisão da área de um veículo, os pontos dispersos de um grupo foram removidos. A remoção pode ser feita de maneira simples, utilizando apenas o valor da distância Euclidiana entre e o centro e cada ponto v i pertencente ao grupo. Para cada ponto de um grupo, a distância é calculada. Se o valor da distância for superior a 150% do valor do raio, o ponto é removido do grupo. Esse valor foi determinado empiricamente ao longo do desenvolvimento do projeto com a observação do padrão de distribuição dos pontos de um veículo em relação ao seu centro. É importante observar que os valores do raio e do centro não são recalculados a cada exclusão de ponto, apenas ao final de todas as remoções de um mesmo grupo. O processo é repetido para cada grupo existente no vetor de grupos. 26

36 Capítulo 5 Resultados O programa desenvolvido com base no algoritmo representado pelo fluxograma da Figura 4.1, como observado anteriormente, tem como resultado um vetor contendo grupos de vetores de deslocamento correspondentes a um veículo. Para cada iteração do algoritmo, o número de grupos foi salvo em um arquivo texto de forma que cada linha do arquivo tenha o número de grupos de uma imagem. O programa também apresenta como saída duas janelas, uma que os vetores de deslocamento aplicados na imagem e outra que desenha os grupos obtidos em cada imagem em função do seu centro e raio. Exemplos dessa saída podem ser vistos nas Figuras 5.1 e 5.2. As imagens de saída são utilizadas apenas para ilustrar o funcionamento do algoritmo em cada imagem, os dados gerados são salvos para serem analisados posteriormente. (a) Imagem do conjunto de dados M30 com os vetores de deslocamento desenhados em verde. (b) Imagem do conjunto de dados M30 com o desenho dos grupos em amarelo. Figura 5.1: Exemplo de imagens de saída do conjunto M30. O número de grupos em cada imagem foi comparado com o número de veículos real de cada imagem, fornecido junto nos arquivos da base de dados. Os arquivos contendo as informações relativas aos veículos em cada imagem foram transformados em um arquivo texto no mesmo formato do arquivo resultante do programa criado. Isso foi feito com o objetivo de criar uma forma de avaliação para os resultados obtidos. Um novo programa foi, então, criado para comparar os resultados obtidos com as informações reais dos veículos. Dessa forma, foi possível calcular o número de falsos positivos, falsos negativos, verdadeiros positivos e verdadeiros negativos para cada imagem. 27

37 (a) Imagem do conjunto de dados (b) Imagem do conjunto de dados M30-HD com os vetores de desloca- M30-HD com o desenho dos grupos mento desenhados em verde. em amarelo. Figura 5.2: Exemplo de imagens de saída do conjunto M30-HD. O número total de falsos positivos, falsos negativos, verdadeiros positivos e verdadeiros negativos de uma execução do programa foram utilizados para calcular os valores de precision e recall. Estes valores são utilizados para calcular o valor do F-measure, que foi a medida utilizada para avaliar o método proposto e implementado. É importante observar que, até o momento, não foram definidos valores para o tamanho da vizinhança e a diferença máxima em módulo e ângulo que dois vetores podem ter e ainda serem considerados iguais. Esses valores são utilizados no cálculo da similaridade de dois vetores, como apresentado nas Equações 4.4, 4.5 e 4.6. Os valores dos parâmetros de similaridade não são os mesmos para todas as imagens. Por isso, foi decidido deixar esses parâmetros variáveis. Para determinar os melhores valores para eles, foi criado um script que executa o programa diversas vezes com combinações diferentes desses valores. 5.1 Base de Dados A base de dados utilizada neste trabalho é denominada GRAM Road-Traffic Monitoring (GRAM-RTM), ela foi criada para ser utilizada como teste em programas que realizam a detecção de múltiplos veículos em tempo real [9]. Ela é composta por três conjuntos de imagens, um chamado M30, um chamado M30-HD e o terceiro chamado Urban1. Este não se encaixa no escopo do projeto, portanto não foi utilizado. O conjunto de imagens M30 é composto por 7520 imagens, que foram gravadas em um dia ensolarado com uma câmera Nikon Coolpix L20. As imagens têm resolução de e foram obtidas a uma taxa de 30 imagens por segundo. O conjunto de imagens M30-HD é composto por 9390 imagens, estas gravadas em um dia nublado com uma câmera Nikon DX3100. As imagens foram obtidas a uma taxa de 30 imagens por segundo e possuem resolução de Todos os veículos da base de dados foram anotados manualmente, e as anotações fornecidas em um arquivo XML. A Figura 5.3 apresenta exemplos de imagens dos dois conjuntos de imagens. A Figura 5.4 mostra a área das imagens que foi considerada válida. Os veículos das áreas em vermelho não foram anotados, portanto qualquer detecção feita nessas áreas deve ser desconsiderada. 28