Detecção de Pista de Pouso em Imagens de Vídeo Através da Transformada de Hough

Transcrição

1 Detecção de Pista de Pouso em Imagens de Vídeo Através da Transformada de Hough João Carlos N. Bittencourt 1, Jody Maick A. de Matos 1, Jhielson M. Pimentel 1, Ranulfo M. da S. Maia 1, Claudio E. Goes 2 1 Departamento de Tecnologia Universidade Estadual de Feira de Santana (UEFS) Caixa Postal Feira de Santana - Bahia - Brasil 2 Departamento de Exatas Universidade Estadual de Feira de Santana (UEFS) Caixa Postal Feira de Santana - Bahia - Brasil jhonny.bittencourt@gmail.com, jody@ecomp.uefs.br, jhielson@gmail.com, maru ecomp@hotmail.com, cegoes@gmail.com Abstract. This research project aims to develop a parametrized system to detect, in video, a airfield of an airport. In this implementation it was used a edge detection filter, using Canny algorithm, in a Region of Interest (ROI) and then it was developed a line detection filter, using the detected edges, using the Hough Transformation. The system presented itself capable of detect the lines by adjusting it to differents types of videos, by the adjusting the treshold and ROI parameters, optimizing its processing. Resumo. Este projeto de pesquisa tem como objetivo o desenvolvimento de um sistema parametrizado capaz de detectar, em vídeo, a pista de pouso de um aeroporto. Na implementação deste sistema foram utilizados um filtro de detecção de bordas, utilizando o algoritmo de Canny, em uma região de interesse (ROI) e, em seguida, foi desenvolvido um filtro para a detecção das linhas, a partir das bordas identificadas, utilizando a Transformada de Hough. O sistema apresentouse capaz de realizar detecções, adequando-se a diferentes tipos de vídeos, a partir do ajuste dos parâmetros de limiar e da variação da ROI, visando otimizar o processamento. 1. Introdução A computação visual consiste em uma das sub-áreas da computação que tem auxiliado no desenvolvimento de Veículos Aéreos Não Tripulados (VANT). Estes veículos são capazes de realizar vôos autônomos a partir da extração de informações do ambiente de maneira a fornecer subsídios para a locomoção de forma segura. Aeronaves como estas são utilizadas para diversas aplicações, tais como: monitoramento, reconhecimento tático, vigilância e mapeamento. Apesar de ser considerado um equipamento eficiente, em termos de capacidade de carga a bordo e condições climáticas, o VANT ainda é considerado como uma ferramenta limitada, em se tratanto de autonomia. Em alguns casos, estas aeronaves podem ser equipadas com instrumentos de transmissão de dados, capazes de transmitir, em tempo real, as informações recolhidas [Medeiros 2007]. Um dos principais desafios na fase de projetos destas aeronaves tem sido a busca por métodos eficazes de aterrissagem. Neste ponto a computação visual, através dos

2 algoritmos de reconhecimento, pode proporcionar ao sistema a identificação de padrões visuais que auxiliem na orientação no momento do pouso. Este trabalho apresenta um sistema de reconhecimento de linhas, para a detecção de pistas de pouso, utilizando algoritmos de detecção de borda e linhas. O sistema foi desenvolvido utilizando a linguagem C++, incorporando a biblioteca OpenCV, para a implementação dos algoritmos de reconhecimento e filtragem. A abordagem deste artigo consiste em uma breve fundamentação teórica acerca dos filtros e transformadas, uma descrição da metodologia utilizada ao longo do desenvolvimento do trabalho, os resultados a partir dos testes em vídeos de aterrisagem reais e, por fim, a conclusão e possíveis trabalhos futuros. 2. Fundamentação Teórica 2.1. Detecção de Bordas No processamento de imagens uma borda é caracterizada por uma mudança, normalmente abrupta, no nível de intensidade dos pixels (Picture Elements). Os detectores de borda são elaborados com o intuito de encontrar este tipo de variação nos pixels. Através da detecção destas variações, é possível realçar os pixels presentes nestas variações de modo a formar um objeto com o contorno mais destacado em relação aos demais pixels na imagem. [Canny 1986] Método de Canny para Detecção de Bordas A técnica de detecção de borda desenvolvida por Canny [Canny 1986], embora seja a mais complexa, é considerado um dos algoritmos mais bem classificados da sua categoria [Wang et al. 2005]. O detector de bordas de Canny possui três objetivos básicos: baixa taxa de erro (todas as bordas devem ser encontradas), os pontos da borda devem ser bem localizados (as bordas localizadas devem ser próximas das bordas reais) e resposta única para os pontos de uma borda (o operador deve retornar apenas um ponto para cada ponto sobre a borda) [Canny 1986]. O método de Canny representa estas ideias matematicamente e, utilizando otimização numérica, define um detector de borda baseado na primeira derivada de uma Gaussiana [Canny 1986]. A função Gaussiana 2D (bidimensional) (Equação 1) depende da escolha dos desvios padrão nas duas direções, sendo geralmente usado em imagens o mesmo valor de sigma em x e y (σ = σx = σy ) [Machado 2009]. G x,y = 1 e 2πσ x σ y x 2 2σx 2 + y2 2σ 2 y (1) A função representada na Equação 1 elimina as bordas ilegítimas, provenientes de ruído ou textura da imagem. Contudo, existem efeitos inoportunos ligados a suavização, como a perda de informação e deslocamento de estruturas de feições relevantes na imagem. Os filtros gaussianos menores causam menos suavização na imagem, e permitem a detecção de linhas pequenas e bem nítidas. Um filtro de tamanho maior causa mais

3 suavização, o que é mais útil para detectar bordas maiores e mais suaves. Quanto maior a máscara gaussiana usada, menor a sensibilidade do filtro a ruídos [do Vale and Poz 2002]. O filtro de Canny para detecção de bordas consiste na utilização da primeira derivada de G(x, y). Fazendo a operação de convolução da imagem com a mascara obtida pela G (x, y) é obtida uma imagem, que representa as bordas, mesmo na presença de ruído [Machado 2009]. Finalmente é utilizado um operador de corte para reduzir pontos de borda falsos. Este operador de corte é baseado em histerese, a partir de dois valores de treshold, chamados de alto e baixo. A partir deste limites são feitas as operações de corte usando estes valores, obtendo assim duas imagens binárias. Estas imagens são subtraídas uma da outra para formar a imagem final (Img baixa Img alta ) [Canny 1986]. Uma vez completado, este processo gera uma imagem binária na qual cada pixel é marcado como um pixel de borda ou de não-borda [Machado 2009] Detecção de Linhas Supondo que, para n pontos em uma imagem, deseja-se obter subconjuntos destes pontos alinhados em retas. Uma possível solução é primeiro encontrar todas as linhas determinadas por cada par de pontos, e depois buscar todos os subconjuntos de pontos próximos de determinadas linhas [Dorini and de Rezende Rocha 2011]. O problema com este procedimento é que o número de segmentos de retas digitais em uma imagem possui ordem superior a O(n 4 ). Uma abordagem alternativa, denominada Transformada de Hough (TH) foi proposta em 1962 por Paul Hough [Hough 1962]. Originalmente desenvolvida para detectar linhas retas e curvas, este método pode ser usado se as equações analíticas dos objetos de fronteira são conhecidos. Uma das principais vantagem deste método é a de não ser sensível a ruídos ou dados imperfeitos [Dorini and de Rezende Rocha 2011] A Transformada de Hough A Transformada de Hough é geralmente aplicada em imagens pré-processadas de modo que só estejam presentes pontos que possam corresponder a características relevantes. O caso mais comum consiste em aplicar um algoritmo de detecção de contornos e, em seguida, aplicar a TH, para eliminar descontinuidades destes contornos, ou para reconhecer a forma destes contornos [Hough 1962]. O objetivo da TH é transformar a imagem do espaço digital (x, y) para uma representação na forma dos parâmetros descritos pela curva que se deseja encontrar na imagem. Esta transformação é aplicada de modo que todos os pontos pertencentes a uma mesma reta sejam mapeados em um único ponto no espaço dos parâmetros da reta procurada [de Macedo 2005]. Dado um ponto (x, y) R 2, na forma discreta da imagem, é possível obter a Equação 2 (equação geral da reta) [de Macedo 2005], onde m corresponde ao coeficiente angular da reta e g é o valor do ponto onde há intersecção com o eixo y. O plano mg é o espaço dos parâmetros onde pontos no espaço da imagem (x, y) são representados como

4 retas, e o ponto de intersecção dessas retas representa os valores m e g que identificam uma reta composta pelos mesmos parâmetros no espaço da imagem (x, y) [Hough 1962]. y = mx + g (2) A Figura 1 mostra essa forma de representação da reta no espaço da imagem (x, y) e seu mapeamento no espaço dos parâmetros (m, g). Figure 1. Representação gráfica da reta no espaço (x, y) e no espaço de parâmetros (m, g). Todos os pontos pertencentes a uma única reta interceptam-se em um único ponto que possui como coordenadas os parâmetros (m, g) da reta a ser identificada [de Macedo 2005]. Um problema verificado ao utilizar esta equação de retas ocorre quando deseja-se identificar retas verticais, pois, neste caso o coeficiente angular tende ao infinito. Tendo em vista viabilizar esta técnica, é proposta a utilização da Equação 3 da reta na forma polar [de Macedo 2005]. ρ = x cos Θ + y sin Θ (3) Na equação 3 ρ é a distância da reta à origem e θ é o ângulo entre o eixo x e a normal desta reta, considerando positivo o sentido horário [Duda and Hart 1972]. Utilizando a equação da reta na forma polar, cada ponto (x, y) passa a ser representado por (ρ, θ). Neste caso, qualquer ponto P(x, y) pertencente ao espaço da imagem, que está situado sobre a reta R(ρ, θ) possui os parâmetros ρ e θ constantes. O plano (ρ, θ) será o espaço dos parâmetros [de Macedo 2005]. 3. Metodologia O projeto foi desenvolvido na linguagem C++ utilizando a biblioteca OpenCV para processamento de imagens. A IDE (Integrated Development Environment) utilizada foi o QtCreator [Nokia 2011]. A aplicação foi simulada a partir de dois arquivos de vídeo, em um computador com as seguintes especificações:

5 Processador Core2Duo T5750 operando a 2.0 Ghz 4 GB de memória RAM Placa de vídeo integrada Intel Mobile PM965/GM965/GL960 A Tabela 1 apresenta as características de cada um dos arquivos de vídeo utilizados durante os testes de simulação. A representação do diagrama que descreve o processo de detecção de linhas a partir da definição dos parâmetros e ROI pode ser visualizada na Figura 2. Table 1. Características dos arquivos de vídeos usados nos testes Tamanho Resolução FPS quadros 640x quadros 640x Figure 2. Diagrama de blocos do processo de detecção de linhas. A Figura 3 apresenta o diagrama de classes do sistema de detecção de linhas. O projeto foi dividido em três classes, das quais é possível destacar aquelas que implementam os métodos de detecção. A classe Contours é responsável por disponibilizar os métodos de detecção de bordas do algoritmo de Canny, e a classe LineFinder implementa as operações do algoritmo da Transformada de Hough Definindo uma Região de Interesse e Parâmetros Iniciais A ROI representa uma matriz de pixels menor do que a imagem original e contem apenas o que é essencial para o processamento. Determinar esta região significa melhorar o desempenho ao processar uma imagem, devido ao fato que áreas sem importância no processamento são excluídas, a quantidade de pixels diminui reduzindo o tempo de processamento da imagem. A Figura 4 apresenta uma captura de tela da aplicação, destacando os parâmetros que podem ser modificados ao longo do tratamento do vídeo. O tamanho inicial da região de interesse, bem como outros parâmetros, tais como máximo e mínimo limiar para o algoritmo de Canny, foram admitidos inicialmente de forma empírica, com base em testes

6 Figure 3. Diagrama de classes do sistema. realizados. A ROI inicial é definida a partir de uma proporção fixa da resolução do vídeo (30% da largura e 50% da altura do vídeo). Os valores de limiar máximo e mínimo foram fixados nos valores 150 e 250, respectivamente, por serem valores comumente utilizados. Figure 4. Captura de tela da aplicação Detecção de Linhas do Método de Detecção de Bordas Canny e da Transformada de Hough Após obter a imagem pré-processada, contendo apenas o contorno, a Transformada de Hough se encarrega de mapear cada ponto da imagem a todos os pontos do espaço de parâmetros que poderiam tê-lo produzido. Cada ponto da imagem, vota para os parâmetros da forma a ser reconhecida, dos quais, os mais votados, são os mais prováveis a compor a forma na imagem original. Na abordagem aplicada, o espaço de parâmetros

7 para a detecção de linhas é definido por ρ e Θ, sugerindo a representação de linhas pela Equação 3; além de indicadores para um número de mínimo de votos, tamanho mínimo e máximo intervalo de pontos nas linhas a serem detectadas. Sua implementação se dá a partir do método findlines(cv::mat) que retorna um vetor de pontos com os quais é possível desenhar as linhas identificadas na imagem recebida. Tanto o método para detectar as linhas quanto o que desenha essas linhas numa matriz de pixels a ser exibida estão contidos na classe LineFinder Processando o Vídeo e Alterando os Parâmetros Uma vez definidos os parâmetros e as classes que realizam a detecção de bordas e linhas de uma imagem, além de desenhar essas linhas, foi necessário criar uma classe para gerenciar os processos, invocando-os em pontos específicos da execução de um vídeo. A classe VideoProcessing é a responsável por controlar o vídeo definindo o frame rate (taxa de quadros por segundo), iniciando e finalizando a exibição desses quadros. Também nesta classe são carregados os métodos de processamento de imagem. Além disso, essa classe exibe alguns componentes de interface que possibilitam a alteração de parâmetros para o processamento. 4. Resultados Após aplicação dos algoritmos de detecção de borda (Figura 6 e 8), foi possível aplicar a TH para detectar as linhas que representam uma pista de pouso durante a aterrisagem de uma aeronave real. Na Figura 5 é possível identificar, além das linhas contornando a pista, o traçado da região de interesse, na qual é realizado o processamento das transformadas. Com a variação dos parâmetros de limiar e o ajuste da ROI, é possível comparar resultados utilizando diferentes estratégias, sem a necessidade de alterar os valores no código-fonte da aplicação. Figure 5. Linhas detectadas em um vídeo de aterrisagem. Figure 6. Representação dos contornos. A Tabela 2 apresenta uma média de quadros processados por segundo, utilizando os algoritmos apresentados nesta pesquisa. Nota-se que o frame rate do processamento é inferior ao processamento do vídeo, em função do tratamento da imagem. Foi verificado também que esta taxa não pode ser fixada, visto que os parâmetros podem ser modificados, e esta tabela visa apenas ilustrar a média dos resultados obtidos para os

8 Figure 7. Linhas detectadas em um vídeo de aterrisagem. Figure 8. Representação dos contornos. vídeos exemplo. Este resultado permite comprovar a eficácia dos dois algoritmos utilizados, corroborando com os resultados encontrados na literatura [Pistoril and Pistoril 2005], [Du and Sun 2012], [Guan and Yan 2011]. Table 2. Síntese dos resultados obtidos durante o processamento. Tamanho Tempo de Execução Quadros Processados quadros ms 21,21/s quadros ,77/s Com esta aplicação não foi possível obter as taxas de detecção, visto que estas também podem variar de acordo com os parâmetros que o usuário define ao longo do processo. O objetivo desta pesquisa foi alcançado, na medida em que foi possível desenvolver uma aplicação flexível capaz de servir de sustentação para outras pesquisas voltadas à aplicações dedicadas. 5. Conclusão Algoritmos para obtenção de padrões e parâmetros em imagens podem ser aplicados em diversas áreas. Sua utilização para detecção de formas em imagens se mostra como um recurso para a resolução bem sucedida de problemas comuns no segmento de computação visual. A sugestão de aplicação para a detecção de pistas de pouso pode auxiliar aeronaves não somente no processo de pouso e decola, mas na obtenção de dados em geral para um Veículo Aéreo Não Tripulado (VANT). Os algoritmos apresentados neste trabalho corroboram os resultados obtidos em aplicações semelhantes, tornando-se um instrumento para obtenção de parâmetros a partir de padrões de vídeos. O método de detecção de bordas de Canny se mostrou um poderoso recurso para detecção de bordas, enquanto a Transformada de Hough demonstrou ser eficaz na a identificação de linhas. Como trabalhos futuros, espera-se utilizar esta implementação na obtenção dos parâmetros otimizados para determinadas condições, além da possibilidade de utilizar os algoritmos para verificação no intuito de desenvolver um sistema embarcado.

9 References Canny, J. (1986). A Computational Approach for Edge Detection. Pattern Analysis and Machine Intelligence, 8(6): de Macedo, M. M. G. (2005). Uso da Transformada de Hough na Vetorização de Moldes e Outras Aplicaçoes. Master s thesis, Universidade Federal Fluminense, Niterói, RJ. do Vale, G. M. and Poz, A. P. D. (2002). Processo de Detecção de Bordas de Canny. 8(2): Dorini, L. E. B. and de Rezende Rocha, A. (2011). através da tranformada de Hough. Detecção de círculos em imagens Du, S. T. C. and Sun, M. (2012). High accuracy Hough transform based on butterfly symmetry. Electronics Letters, 4: Duda, R. and Hart, P. (1972). Use of the Hough Transformation to Detect Lines and Curves in the Pictures. Communication Association Computing Machine, 15: Guan, P. P. and Yan, H. (2011). Blood cell image segmentation based on the Hough transform and fuzzy curve tracing. Machine Learning and Cybernetics (ICMLC), International Conference, 4: Hough, P. V. C. (1962). Method and Means for Recognizing Complex Patterns. Machado, D. S. (2009). Sistema de Inspeção Visual Automática Aplicado ao Controle de Qualidade de Ovos em Linhas de Produção. Master s thesis, Centro Federal de Educação Tecnológica de Minas Gerais, Belo Horizonte MG. Medeiros, F. A. (2007). Desenvolvimento de um Veículo Aéreo não Tripulado para Aplicação em Agricultura de Precisão. Master s thesis, Universidade Federal de Santa Maria, Santa Maria, RS, Brasil. Nokia (2011). QtCreator IDE. Último acesso: 28 ago, Pistoril, H. and Pistoril, J. (2005). Hough-Circles: Um Módulo de Detecção de Circunferências para o ImageJ. Workshop Software Livre, pages 1 4. Wang, S., Ge, F., and Liu, T. (2005). Evaluating Edge Detection through Boundary Detection. Communication Association Computing Machine, pages 1 15.