UNIVERSIDADE LUTERANA DO BRASIL BACHARELADO EM CIÊNCIA DA COMPUTAÇÃO CÂMPUS CANOAS IDENTIFICAÇÃO VISUAL DE POSIÇÃO E MOVIMENTO PARA FUTEBOL DE ROBÔS

Transcrição

1 UNIVERSIDADE LUTERANA DO BRASIL BACHARELADO EM CIÊNCIA DA COMPUTAÇÃO CÂMPUS CANOAS IDENTIFICAÇÃO VISUAL DE POSIÇÃO E MOVIMENTO PARA FUTEBOL DE ROBÔS Eduardo Wisnieski Basso Monografia desenvolvida durante a disciplina de Trabalho de Conclusão de Curso em Informática II e apresentada à Universidade Luterana do Brasil, câmpus Canoas, como pré-requisito para a obtenção do título de Bacharel em Ciência da Computação. Orientador: Prof. Roland Teodorowitsch Canoas, novembro de 00.

2 Universidade Luterana do Brasil ULBRA Curso de Bacharelado em Ciência da Computação Câmpus Canoas Reitor: Pastor Ruben Eugen Becker Vice-Reitor: Eng. Leandro Eugênio Becker Coordenador de Curso de Ciência da Computação (Câmpus Canoas): Prof. Gilberto Fernandes Marchioro Coordenador das Disciplinas de Trabalho de Conclusão de Curso (Câmpus Canoas): Prof. Denise Salvadori Virti Banca Avaliadora composta por: Prof. Roland Teodorowitsch (Orientador) Prof. Alexandre Cruz Berg Prof. Franz Figueroa CIP Catalogação na Publicação Basso, Eduardo Wisnieski Identificação Visual de Posição e Movimento para Futebol de Robôs / Eduardo Wisnieski Basso; [orientado por] Roland Teodorowitsch. Canoas: p. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação). Universidade Luterana do Brasil, Visão Computacional.. Futebol de Robôs. 3. Módulo de Visão Global. I. Teodorowitsch, Roland. II. Título. Endereço: Universidade Luterana do Brasil Câmpus Canoas Av. Miguel Tostes, 101 Bairro São Luís CEP Canoas-RS Brasil

3 SUMÁRIO LISTA DE FIGURAS... 5 LISTA DE ABREVIATURAS E SIGLAS... 7 RESUMO... 8 ABSTRACT INTRODUÇÃO FUTEBOL DE ROBÔS ORGANIZAÇÕES INTERNACIONAIS FUTEBOL DE ROBÔS NO BRASIL CATEGORIA MIROSOT ESTRUTURA DO SISTEMA MÓDULO DE VISÃO Visão embarcada Visão global PROCESSAMENTO E ANÁLISE DE IMAGENS IMAGEM DIGITAL Modelos de cor Decomposição do vetor de cor OPERAÇÕES PONTO A PONTO Operações lógicas e aritméticas Limiarização OPERAÇÕES POR VIZINHANÇA Convolução Morfologia Imagens não binárias TRANSFORMADA DE HOUGH SEGMENTAÇÃO PELA AGREGAÇÃO DE PONTOS IDENTIFICAÇÃO VISUAL PARA FUTEBOL DE ROBÔS LOCALIZAÇÃO DE OBJETOS Intervalos de cores Remoção do fundo Localização pela transformada de Hough Localização pela agregação de pontos O MÉTODO DE LOCALIZAÇÃO DE OBJETOS DESENVOLVIDO Segmentação... 35

4 4 4.. Filtragem ORIENTAÇÃO E IDENTIFICAÇÃO Identificação por marcas Associação temporal Varredura polar RASTREAMENTO DE TRAJETÓRIAS O MÓDULO GVISION AQUISIÇÃO DE IMAGENS Dispositivo de captura IDENTIFICAÇÃO VISUAL Rotina de localização de objetos Rotina de identificação dos jogadores Rotina de acompanhamento da movimentação CONTROLE E INTERFACE Eventos Concorrência Atraso Depuração Interface PROTÓTIPO DA APLICAÇÃO INTERFACE GRÁFICA CONTROLE DA EXECUÇÃO CONFIGURAÇÃO CONCLUSÃO REFERÊNCIAS... 59

5 LISTA DE FIGURAS Figura 1 Campo MiroSot Figura Visão geral do futebol de robôs Figura 3 Cubo RGB... 0 Figura 4 Diferença entre imagens... 3 Figura 5 Limiarização... 4 Figura 6 Operadores: passa-baixas (a) e recupera-altas (b)... 5 Figura 7 Aplicação dos operadores: passa-baixas (a) e recupera-altas (b)... 5 Figura 8 Operador laplaciano passa-altas... 5 Figura 9 Operadores de gradiente Prewitt e Sobel... 6 Figura 10 Aplicação de operadores derivativos... 6 Figura 11 Operações morfológicas... 8 Figura 1 Morfologia sobre imagens não binárias... 9 Figura 13 Mapa de segmentos Figura 14 Passos da segmentação Figura 15 - Mapa de saturação Figura 16 Processamento do mapa de saturação Figura 17 - Agregação de pontos pela semente Figura 18 - Passos da filtragem Figura 19 - União dos segmentos Figura 0 Marca da equipe e marcas de orientação e identificação Figura 1 - Associação de dados em dois quadros consecutivos Figura - Falha da associação ótima global... 4 Figura 3 Estrutura do módulo de visão Figura 4 Fluxogramas dos processos leves de execução e captura Figura 5 - Protótipos dos métodos públicos Figura 6 Implementação da função de retorno da captura Figura 7 Protótipos dos eventos... 51

6 6 Figura 8 Principais estruturas de dados... 5 Figura 9 Representação das informações do módulo Figura 30 - Configurações de captura Figura 31 - Configurações de processamento Figura 3 - Configurações da execução... 56

7 7 LISTA DE ABREVIATURAS E SIGLAS cm hz Mb MHz mm ms API CenPRA FIRA HSI HSV MiroSot NTSC PCI RAM RGB RoboCup UFMG UFPR UFSC UNESP USB USP VCL YIQ centímetro hertz Megabyte Megahertz milímetro milissegundo Application Program Interface Centro de Pesquisas Renato Archer Federation International of Robot soccer Association Hue, Saturation and Intensity Hue, Saturation and Value Micro-Robot World Soccer Tournament National Television Systems Committee Peripheral Compact Interface Random Access Memory Red, Green and Blue Robot World Cup Initiative Universidade Federal de Minas Gerais Universidade Federal do Paraná Universidade Federal de Santa Catarina Universidade Estadual Paulista Universal Serial Bus Universidade de São Paulo Visual Component Library Luminance, Infase and Quadrature

8 RESUMO O futebol de robôs foi adotado internacionalmente como uma plataforma de estudos para diversas áreas da ciência da computação e da engenharia tais como robótica, inteligência artificial e visão computacional. Este trabalho descreve a implementação de um módulo de visão para futebol de robôs que utiliza a abordagem de visão global. Este módulo é responsável por oferecer informações sobre a posição, a direção e a velocidade dos jogadores e da bola através da aquisição e processamento de imagens, permitindo que ações possam ser tomadas automaticamente pela equipe. Os objetos do jogo devem ser localizados em cada imagem e suas trajetórias identificadas através do acompanhamento temporal de suas posições.

9 ABSTRACT The robot soccer was adopted internationally as a study platform for several computer science and engineering areas like robotic, artificial intelligence and computer vision. This work describes the implementation of a vision module for robot soccer that uses the global vision approach. This module is responsible to supply information about the position, the direction and the velocity of the players and the ball through the acquisition and processing of images, allowing that actions can be taken automatically by the team. The objects of the game must be located in each image and their trajectories identified through the temporal tracking of their positions.

10 1 INTRODUÇÃO O aumento da capacidade de processamento dos computadores e a evolução das formas de aquisição de imagens permitem que sistemas de visão por máquina (machine vision systems) não estejam limitados ao meio científico, sendo utilizados como solução para a indústria e o comércio, seja na automação de processos, na inspeção de qualidade ou no apoio à decisão. Alguns exemplos de utilização destes sistemas são: reconhecimento de placas de automóveis em estacionamentos ou condomínios; identificação de estradas ou acidentes geográficos em imagens de satélite; controle automático de navegação e movimentação de robôs; detecção de defeitos em peças de uma linha de montagem; realce de imagens médicas para facilitar a sua interpretação. A localização de objetos em uma cena e a identificação de sua movimentação são tarefas bastante pesquisadas porém sem apresentar resultados ideais devido à complexidade do problema e à variabilidade dos dados de entrada. Por utilizar informações visuais, as técnicas empregadas na solução deste problema são sensíveis às alterações de iluminação do ambiente. Desta forma, a realização das tarefas de localização e acompanhamento de objetos costuma necessitar de um grande investimento em equipamentos, tanto em processamento quanto em dispositivos de captura de vídeo. O futebol de robôs é um problema que pode ser utilizado como plataforma de pesquisa para diversas áreas como visão computacional, inteligência artificial e robótica. Assim como a comunidade acadêmica, o público em geral tem demonstrado interesse pelo futebol de robôs, que combina o esporte mais popular do mundo com o fascínio das pessoas pela robótica. Em um sistema de futebol de robôs a localização da bola e dos robôs jogadores, assim como a identificação de suas trajetórias são fundamentais para a definição estratégica das ações de uma equipe. Sendo um ambiente dinâmico e de tempo real, o futebol de robôs tornase um excelente estudo de caso para as técnicas de processamento e análise de imagens utilizadas na identificação visual de posição e movimento, exigindo respostas rápidas e precisas às mudanças do jogo. Neste trabalho são apresentados os fundamentos teóricos para a identificação visual de posição e movimento de objetos em um ambiente dinâmico. A partir desta fundamentação é descrita a implementação de um módulo de visão global para futebol de robôs. Para esta implementação foram pesquisadas e desenvolvidas soluções de baixo custo computacional capazes de, utilizando recursos de preço acessível, obter respostas precisas e robustas quanto à variação da incidência de luz na cena.

11 11 Por tratar-se apenas de um dos componentes de um sistema de futebol de robôs, a implementação do módulo de visão torna-se um gancho para a realização de trabalhos científicos de diversas áreas da engenharia e da ciência da computação. Assim como ocorre em muitas universidades e centros de pesquisa, uma equipe competitiva de futebol de robôs poderia ser criada com esforços combinados dos departamentos de informática e engenharia, propiciando uma boa fonte de estudos e de trabalhos a serem continuamente aprimorados. No capitulo, o futebol de robôs é apresentado como uma plataforma de estudo de diversas áreas de pesquisa, sendo descritas as regras e definições da modalidade MiroSot. As etapas de um sistema de futebol de robôs são detalhadas, sendo agrupadas em três módulos: aquisição, estratégia e controle. A definição de imagem digital e os modelos de representação de cor são apresentados no capítulo 3. Neste capítulo também é feita a fundamentação teórica de técnicas de processamento de imagens e visão computacional utilizando intervalos discretos. No capítulo 4, as técnicas de processamento e análise de imagens são aplicadas e adaptadas ao ambiente de futebol de robôs. A identificação visual é dividida em: localização, identificação e rastreamento, sendo apresentadas alternativas de solução para cada um destes itens. O módulo de visão global para futebol de robôs desenvolvido neste trabalho é descrito no capítulo 5. O desenvolvimento deste módulo foi dividido em três níveis de rotinas: aquisição de imagens, identificação visual e controle e interface. No capítulo 6 é apresentado o protótipo de uma aplicação de teste que permite avaliar o módulo de visão. Esta aplicação permite a execução do módulo e exibe os resultados obtidos em uma interface gráfica.

12 FUTEBOL DE ROBÔS Diversas áreas de pesquisa utilizam, como base para seus estudos, problemas de interesse público, de fácil entendimento e que apresentem resultados práticos. Esta prática estimula o ingresso de pesquisadores nestas áreas, além de divulgar os trabalhos realizados para o público em geral. Um problema de crescente aceitação acadêmica é o uso de robôs autônomos em partidas de futebol. Enquanto problemas de domínio simbólico, como o jogo de xadrez, possuem um ambiente estático com acesso total às suas informações, o futebol de robôs é realizado em um ambiente dinâmico e em tempo real. O futebol de robôs pode ser utilizado como objeto de pesquisa em diversas áreas da engenharia e da ciência da computação. Dentre estas áreas estão a robótica, a inteligência artificial, os sistemas multiagentes, a visão computacional, a comunicação de dados e os sistemas de tempo real. Apesar de ser um problema específico, o futebol de robôs é um ambiente multiagente de tempo real interessante para a pesquisa em inteligência artificial e sistemas multiagentes. A existência de duas equipes com objetivos opostos coloca o time adversário como um ambiente dinâmico obstrutivo. O objetivo geral de uma equipe pode ser dividido em vários objetivos secundários, ou seja, vencer a partida pode ser dividido em fazer gois. Levando em consideração a situação do jogo, cada membro da equipe deve ter um comportamento cooperativo, flexível e rápido para alcançar os objetivos secundários de sua equipe (KITANO et al., 1997)..1 ORGANIZAÇÕES INTERNACIONAIS A comunidade científica organizou-se em torno do tema futebol de robôs com o objetivo de disseminar a utilização deste problema como plataforma de pesquisa. Paralelamente duas organizações foram criadas, ambas com o intuito de organizar competições internacionais de futebol de robôs e assim incentivar a produção científica na área e o aperfeiçoamento das equipes. A Federation International of Robot soccer Association (FIRA) 1 organiza competições internacionais para promoção do futebol de robôs desde A modalidade original é a Micro-Robot World Soccer Tournament (MiroSot) mas outras modalidades foram incorporadas às competições. 1

13 13 A RoboCup (Robot World Cup Initiative) é uma iniciativa internacional que incentiva a pesquisa sobre futebol de robôs através da organização de competições internacionais anuais desde As competições são divididas em várias modalidades que variam quanto aos limites do campo e à forma dos robôs. Além de robôs reais, a FIRA e a RoboCup possuem modalidades onde a partida é simulada. Estas modalidades permitem o teste dos algoritmos de estratégia cooperativa, sem a necessidade de confecção dos robôs.. FUTEBOL DE ROBÔS NO BRASIL O futebol de robôs tem sido pouco utilizado como plataforma de pesquisa no Brasil devido principalmente à sua abrangência. Ao mesmo tempo que permite a pesquisa em diversas áreas, resultados práticos reais somente serão obtidos com o estudo de todas as partes do problema. Esta característica intimida pesquisas individuais não vinculadas a grandes projetos na área. Iniciativas combinadas entre departamentos de engenharia e de informática permitiram a algumas universidades e instituições de pesquisa brasileiras criar equipes de futebol de robôs. Devido ao custo dos equipamentos, estas iniciativas geralmente necessitam de apoio de organizações de fomento à pesquisa. A equipe Tupi, desenvolvida pela Universidade Federal do Paraná 3 (UFPR) em conjunto com o Centro de Pesquisas Renato Archer (CenPRA), foi a única representante brasileira na competição da FIRA 00, que ocorreu na Coréia do Sul, tendo participado na modalidade MiroSot. A melhor colocação em competições internacionais alcançada por equipes brasileiras foi o segundo lugar obtido pelo time Guaraná na modalidade MiroSot da FIRA 98, ocorrida na França. Esta equipe foi desenvolvida em conjunto pela Escola Politécnica da Universidade de São Paulo (USP) e pela Universidade Estadual Paulista (UNESP). Outras universidades brasileiras que têm projetos envolvendo futebol de robôs são: Universidade Federal de Minas Gerais 4 (UFMG), Escola Politécnica da USP 5 (projeto Futepoli) e Universidade Federal de Santa Catarina 6 (UFSC)..3 CATEGORIA MIROSOT A categoria MiroSot possui duas modalidades que diferem quanto ao número de robôs em cada equipe. Enquanto que na modalidade SmallSize são utilizados três robôs por equipe, na modalidade MiddleSize cada equipe conta com cinco robôs. Este trabalho utilizará a categoria MiroSot SmallSize como base de estudos e nesta seção serão descritas as regras 7 e definições mais significativas dessa categoria

14 14 Nessa categoria cada equipe conta com uma câmara de vídeo colocada sobre o campo, obtendo-se uma visão global, e um único computador para fazer o processamento do sistema. Os robôs devem ser totalmente autônomos, obrigando assim a comunicação via rádio. O campo de jogo deve ser de cor preta fosca, com textura similar à de uma mesa de pingue-pongue e dimensões de 150cm de comprimento e 130cm de largura. Linhas brancas de 3mm de espessura são utilizadas para marcar as áreas, as meias-luas, a linha de meio-campo e o grande círculo. Todo o campo é cercado por uma parede que deve ser branca em suas laterais e preta em sua face superior. Para evitar que a bola fique presa nos cantos são colocados triângulos, também brancos em suas laterais e pretos na face superior, nos quatro cantos do campo. A Figura 1 mostra as dimensões de um campo oficial para a categoria MiroSoft Smallsize. Figura 1 Campo MiroSot 8 Uma bola de golfe laranja é empregada nesta categoria e as carcaças dos robôs são cubos de 75mm de aresta. Na face superior de cada robô é colocada uma etiqueta de 35mm por 35mm com a cor azul ou amarela indicando a equipe à qual o robô pertence. Outras etiquetas podem ser colocadas sobre o robô desde que não utilizem as cores reservadas: preto, branco, laranja, azul e amarelo. 8 Acesso em: 3 mar. 00. Disponível em:

15 15.4 ESTRUTURA DO SISTEMA O futebol de robôs é um grande sistema de tempo real que necessita de respostas imediatas às variações do ambiente. Cada resposta do sistema passa por uma série de passos, desde a percepção das condições da partida até o envio dos comandos aos jogadores. Os passos podem ser considerados etapas do processamento de cada resposta, dispostos em uma linha de dependência. De um modo genérico, as etapas de um sistema de futebol de robôs são: aquisição: imagens do campo e demais componentes do jogo devem ser adquiridas. Para isso são necessárias câmaras coloridas, que captam as informações luminosas do ambiente, e placas de captura (frame grabbers), que digitalizam as informações obtidas pelas câmaras, diponibilizando-as na forma de imagens digitais; identificação: algoritmos de processamento de imagens e visão computacional são aplicados sobre as imagens digitais obtidas de forma a identificar informações de posição e movimentação dos componentes do jogo; estratégia: conhecendo a situação do jogo decide-se a estratégia a ser tomada pela equipe. É traçado um planejamento cooperativo onde são definidas as ações a serem executadas pelos jogadores; interpretação: as ações em alto nível atribuídas a cada jogador devem ser transformadas em comandos simples que possam ser entendidos pelos robôs; comunicação: um protocolo de comunicação é responsável pelo envido dos comandos aos robôs da equipe. A comunicação é feita através de um dispositivo de transmissão de rádio, geralmente conectado ao computador pela porta serial ou paralela. Além da unidade de processamento e dos robôs, um dispositivo de captura de vídeo e um transmissor de rádio também são componentes utilizados em uma partida de futebol de robôs, conforme mostra a Figura. Figura Visão geral do futebol de robôs 9 9 Acesso em: 3 mar. 00. Disponível em:

16 16 Um sistema de futebol de robôs pode ser dividido em blocos, ou módulos, cada um responsável por um ou mais passos do processamento. Buscando a coesão entre as funcionalidades internas de cada módulo e a minimização da necessidade de comunicação entre dois módulos distintos, três módulos podem ser definidos: módulo de visão, módulo de estratégia e módulo de controle. As etapas de aquisição e identificação são efetuadas no módulo de visão que é responsável pelo controle dos dispositivos de captura e pela identificação visual das informações necessárias à estratégia. O módulo de visão de um sistema de futebol de robôs captura uma seqüência de imagens do campo de jogo para identificar a posição e o movimento de todos os robôs e da bola, além de obter a orientação de cada um dos robôs da própria equipe. O módulo de estratégia de um sistema de futebol de robôs decide as ações a serem tomadas pelos robôs de sua equipe a partir das informações fornecidas pelo módulo de visão. Para ter um bom desempenho em uma partida de futebol de robôs, o módulo de estratégia utiliza técnicas de inteligência artificial para garantir a cooperação entre os jogadores de sua equipe. O módulo de controle abrange as etapas de interpretação e comunicação. Cada ação destinada a um robô pelo módulo de estratégia deve ser convertida em pequenas instruções de movimentação que serão transmitidas ao robô através de um protocolo de comunicação que utiliza rádio transmissores. A divisão de um sistema de futebol de robôs em módulos com baixa intercomunicação de dados permite que cada um destes seja atribuído a um processo separado. Apesar das regras atuais não permitirem o uso de duas ou mais unidades de processamento, a distribuição dos processos atribuídos a cada módulo poderia ser uma nova área de pesquisa vinculada ao problema..5 MÓDULO DE VISÃO O módulo de visão, que envolve as etapas de aquisição e identificação, consiste em obter informações referentes aos componentes do jogo visualmente, permitindo a decisão de estratégia da equipe. Os componentes do jogo relevantes a este módulo são: os jogadores da equipe adversária, a bola e os jogadores da própria equipe. Existem duas abordagens possíveis em um módulo de visão para futebol de robôs: visão embarcada e visão global. No modelo de visão embarcada as imagens são adquiridas com a perspectiva dos jogadores, sendo que cada um dos robôs carrega consigo uma câmara. Diferente deste modelo, a visão global consiste na visualização de todo o campo. O primeiro passo da identificação visual é localizar a posição da bola e de todos os robôs, adversários ou não, no campo. A representação da posição de cada um destes componentes pode ser feita através da sua posição relativa ou absoluta. Enquanto a posição relativa é dada pela sua distância em duas dimensões até um determinado ponto, a posição absoluta é representada por um par ordenado indicando sua posição no plano cartesiano representado pelo campo. Para identificar a movimentação da bola e dos robôs adversários, é necessário determinar a direção do movimento de cada um e sua velocidade. Esta identificação é feita através de um acompanhamento temporal da posição global destes componentes.

17 17 Os robôs que pertencem à equipe devem ser identificados para que o módulo de estratégia saiba a quem atribuir as ações. Esta identificação pode ser feita através de uma associação pelo acompanhamento temporal ou através de marcas colocadas sobre cada um dos robôs. Marcas também devem ser utilizadas para possibilitar a identificação da orientação de cada robô, outra informação necessária para o módulo de estratégia. Além de responder ao sistema com confiabilidade, exatidão, regularidade e latência mínima, o módulo de visão deve ser robusto a alterações da iluminação e a mudanças na cor do campo de jogo, e deve suportar as variações de cores utilizadas pela equipe adversária (WYETH e BROWN, 000). Estas características indicam a qualidade da implementação do módulo e determinam o sucesso da equipe em competições. A interface do módulo de visão com o módulo de estratégia pode ser implementada de duas maneiras, por requisições ou por eventos. A interface por requisições consiste na resposta do módulo de visão a cada requisição que recebe, informando dados referentes aos componentes do jogo. Na interface por eventos, uma chamada de função do módulo de estratégia é executada pelo módulo de visão sempre que determinado evento ocorrer. Os eventos podem ser definidos por temporizadores (a cada quadro, por exemplo) ou condições do jogo, como a mudança de direção da bola..5.1 Visão embarcada Na abordagem de visão embarcada um dispositivo de captura de imagens é acoplado a cada autômato móvel da equipe. Como as imagens são adquiridas com a perspectiva de cada jogador, o campo de visão é limitado pela sua orientação. O processamento de um módulo de visão embarcada é distribuído, sendo executado em cada um dos autômatos, que devem ser dotados de memória suficiente e processador adequado para a função. A transmissão das imagens obtidas a um computador central, para que sejam processadas, não é uma boa solução, pois gera sobrecarga na comunicação e pode introduzir ruído na imagem. A localização dos objetos presentes no campo de visão é dada pela sua posição relativa ao observador, dificultando a identificação da posição global de cada um dos componentes do jogo. Para que estas informações possam ser utilizadas pelo módulo de estratégia é necessário fazer a correlação dos dados visuais obtidos por cada um dos robôs da equipe. A partir de um robô, o cálculo da sua distância até determinada posição visualizada por ele é prejudicada pela perda da noção de profundidade, podendo causar erros de localização. Esta característica somada à incompletude da soma dos campos de visão dos robôs da equipe torna o modelo de visão embarcada sujeito a falhas. O Grupo de Automação e Robótica da Universidade de Minho propõe um sistema de visão embarcada com uma capacidade de alcance ampliada (MACHADO, SAMPAIO e RIBEIRO, 000). O sistema consiste em colocar um espelho convexo voltado para baixo sobre cada um dos autômatos móveis com uma câmara apontada para ele. Esta disposição permite que os arredores do robô possam ser alcançados e visualizados pelas imagens obtidas, facilitando a sua localização absoluta. Os objetos nas imagens são representados por coordenadas polares com perdas significativas nos extremos devido à distorção.

18 18.5. Visão global A visão global, ou visão não embarcada, consiste na obtenção de imagens do jogo pela perspectiva de um espectador. No jogo de futebol de robôs, o papel do espectador é feito por um ou mais dispositivos de captura de imagens. Nesta abordagem a união dos campos de visão de todos os dispositivos abrange todo o campo, permitindo a localização da posição absoluta dos componentes do jogo. A utilização do modelo de representação absoluta do posicionamento e movimentação da bola e dos jogadores de ambas as equipes facilita a tomada de decisão do módulo de estratégia, pois permite a correlação direta entre todos os componentes do jogo. A representação absoluta também permite a modelagem das estruturas de dados conforme o problema real, ou seja, utilizar medidas reais como centímetros ou polegadas em vez de pontos (pixels). As regras das competições internacionais limitam em um o número de computadores utilizados por cada equipe. Diferentemente da visão embarcada, onde cada robô deve possuir recursos para processamento das imagens obtidas, na visão global o processamento das imagens é centralizado neste computador. Assim os robôs deixam de necessitar de recursos poderosos de processamento, passando esta responsabilidade para o computador que executa o sistema e gerencia a equipe. Algumas distorções, em forma de curvatura, ocorrem nos extremos das imagens obtidas. Dependendo do dispositivo de captura empregado, principalmente da lente, as distorções podem ser imperceptíveis ou podem prejudicar o processamento e causar erros de localização. Nestes casos é necessário um processamento de recuperação desta distorção que pode ocorrer antes da identificação, obtendo-se uma imagem corrigida, ou após a identificação, corrigindo-se as posições e orientações obtidas.

19 3 PROCESSAMENTO E ANÁLISE DE IMAGENS O processamento e análise de imagens é feito através de técnicas de processamento de imagens e visão computacional. Enquanto que o processamento de imagens digitais consiste em melhorar ou recuperar determinadas características de uma imagem de forma a permitir ou facilitar o seu reconhecimento pelo ser humano ou por uma máquina, técnicas de visão computacional são utilizadas para reconhecer e obter informações de imagens através da sua análise. Neste capítulo serão apresentados os fundamentos de algumas técnicas de processamento de imagens e visão computacional, iniciando pela descrição de uma imagem digital e pela apresentação dos principais modelos de representação de cor. Após são mostradas operações de processamento de imagens, divididas em ponto a ponto e por vizinhança. Ao final do capítulo são apresentadas técnicas de visão computacional para obtenção de informações da imagem. 3.1 IMAGEM DIGITAL Uma imagem digital consiste em um arranjo bidimensional de valores que representam as características luminosas de objetos em uma cena, sendo cada um destes elementos chamado de pixel (picture element) (JAIN, 1989). Uma imagem digital pode ser representada por uma função bidimensional f(x,, onde x indica uma coluna e y uma linha na imagem. Em imagens em tons de cinza a amplitude da função f indica a intensidade luminosa da imagem em uma posição (x, respeitando o intervalo de 0 a 55, onde 0 representa a cor preta e 55, a cor branca. Em imagens digitais coloridas cada ponto (pixel) é composto por três valores representando a quantidade de cada uma das três cores primárias que são combinadas para a formação de uma cor. Uma imagem colorida pode ser vista como três planos f r (x,, f g (x, e f b (x, representando respectivamente os componentes vermelho, verde e azul da cor da imagem na posição (x, Modelos de cor Enquanto tons de cinza podem ser representados linearmente por um único valor, as demais cores são compostas por três valores tendo representação tridimensional. Existem diversos modelos de representação e neste trabalho serão apresentados os três modelos de maior aplicabilidade em técnicas de processamento de imagens e visão computacional.

20 0 O modelo padrão de representação de cores em imagens digitais é chamado de RGB (Red, Green and Blue). Esse modelo é usado pela maioria dos dispositivos de aquisição e visualização de imagens, podendo ser visto como um cubo de cores onde os componentes vermelho, verde e azul correspondem aos eixos x, y e z. Os tons de cinza ocorrem quando os três componentes possuem valores iguais, seguindo a diagonal principal do cubo, com a origem (0,0,0), preta, e a extremidade inversa (55,55,55), branca. O cubo que representa o modelo RGB está descrito na Figura 3. B Azul (0,0,55) Ciano Magenta Branco Preto (0,55,0) Verde G (55,0,0) Vermelho Amarelo R Figura 3 Cubo RGB 10 O modelo YIQ (Luminance, Infase and Quadrature) é utilizado em transmissões de televisão. Em um ponto YIQ a luminância é decomposta da cor e atribuída ao seu componente Y. Os componentes I (inphase) e Q (quadrature) são os indicadores de cromaticidade, representando aproximadamente as relações vermelho-ciano e magenta-verde, podendo resultar em valores negativos. A independência entre a luminância e a cromaticidade é uma característica interessante tanto para a normalização quanto para a verificação de diferenças em imagens coloridas. Neste modelo os tons de cinza ocorrem quando os componentes de cromaticidade I e Q são zero. Pela percepção humana as cores são representadas por coordenadas polares onde o ângulo do vetor corresponde à matiz e o módulo do vetor corresponde à saturação. A matiz descreve uma cor pura enquanto que a saturação mede sua pureza. Os tons de cinza ocorrem quando a saturação é zero. O modelo HSI (Hue, Saturation and Intensit, ou HSV (Hue, Saturation and Value), é uma aproximação da percepção humana de cores, onde H corresponde à matiz e S à saturação. O componente I, ou V no modelo HSV, representa a intensidade da cor, deslocando o vetor de cor verticalmente. Gonzales e Woods (000) apresentam uma descrição detalhada dos modelos RGB, YIQ e HSI, assim como algoritmos de conversão entre cada modelo. 10 Gonzales e Woods (000) apresentam o cubo RGB com intervalos variando de 0 a 1.

21 Decomposição do vetor de cor A maioria dos dispositivos de aquisição de imagens utiliza o modelo RGB para a digitalização de imagens coloridas. No entanto, em algumas aplicações de processamento e análise de imagens coloridas é interessante decompor as informações de cor de forma similar à percepção humana das cores. Pelo modelo RGB cada cor P é representada no cubo RGB por uma coordenada (P R,P G,P B ) que é alcançada a partir da origem (0,0,0) pelo vetor OP. Este vetor pode ser decomposto nos vetores I, cujo módulo representa a intensidade da cor, e V, que compõe as informações de saturação e matiz da cor. Desta forma pode-se verificar a diferença entre duas cores através dos respectivos vetores V, ignorando assim a intensidade das cores. A intensidade de uma cor é definida por I e obtida pela verificação do deslocamento de OP sobre o eixo de tons de cinza através do produto escalar: I I OP P R 1 1,, 3 3 P P G 3 B 1 3 onde P R, P G e P B são os componentes vermelho, verde e azul de OP. Considerando que I segue o eixo de tons de cinza, seus três componentes correspondem a k, calculado por: I I k 3 ( k, k, k) k P R k P k R PG 3 P G 3 P B k P B A partir do vetor de intensidade é possível obter o vetor de cor V : V OP I V, V R G, V B P R k, P R k, P R onde V R, V G e V B são os componentes vermelho, verde e azul do vetor de cor. k Dadas uma cor P e uma cor Q, a diferença d entre elas pode ser calculada pela distância euclidiana dos respectivos vetores de cor: d V PR V QR V PG V QG V PB onde PR V, PG V e PB V são os componentes do vetor de cor referente a P e QR V, QG V e QB V são os componentes do vetor de cor referente a Q. V QB

22 3. OPERAÇÕES PONTO A PONTO Em uma operação ponto a ponto a operação é replicada para cada ponto (pixel) da imagem, ou seja, o resultado guardado em um na posição (x, da imagem de saída depende apenas dos pontos correspondentes nas imagens de entrada. Genericamente, uma operação ponto a ponto com uma única imagem de entrada pode ser descrita por: f ' Oper( f ) f '( x, oper( f ( x, ) onde f' é a imagem resultante da operação Oper realizada sobre a imagem de entrada f e oper é uma operação sobre os pontos da imagem. Mais de uma imagem pode ser utilizada como entrada. Em imagens coloridas estas operações são aplicadas a cada um dos planos de cor Operações lógicas e aritméticas Algumas operações lógicas ou aritméticas podem ser aplicadas sobre imagens digitais utilizando o conceito de operação ponto a ponto (GONZALES e WOODS, 000). Sendo f 0 e f 1 duas imagens de entrada e f' o resultado de uma operação, as operações aritméticas de soma, subtração, diferença e média aritmética são descritas respectivamente pelas equações: f ' f'(x, f ' f'(x, f ' Sum Sub Dif ( f ( f, f ) f (x, f (x,, se f (x, f (x, , caso contrário 1 ( f, f ) f (x, f (x,, se f (x, , caso contrário 0, f 1 f '( x, f0 ( x, f1( x, f ' Avg( f0, f ) 1 f 0 ( x, f1( x, f '( x, ) f 1 1 (x, A Figura 4a mostra a parte da imagem de uma bola sobre um campo para futebol de robôs enquanto que a Figura 4b mostra a mesma cena, porém sem a bola. A Figura 4c exibe o resultado da diferença das duas imagens anteriores. Como ambas as imagens são coloridas a diferença é aplicada a cada plano de cor. Com esta operação consegue-se como resultado uma imagem em que os objetos que não fazem parte do fundo da cena podem ser facilmente identificados pois os seus pontos na imagem resultante têm intensidades de cor diferentes de zero. 55

23 3 (a) (b) (c) Figura 4 Diferença entre imagens 11 Como os valores representados em imagens digitais não são necessariamente binários, as operações lógicas são aplicadas ao bits de cada ponto. As operações And, Or e Xor possuem duas entradas, sendo genericamente descritas por: f ' Oper( f f '( x, 0 0, f 1 ) f ( x, oper f ( x, 1 onde f' é o resultado da operação Oper sobre imagens de entrada f 0 e f 1, e oper é a operação sobre bits de um ponto. De forma similar, a operação de negação é representada por: f ' Not( f ) f '( x, notf ( x, onde f é a imagem de entrada, f' é a imagem negada e not é a operação de negação dos bits de um ponto. 3.. Limiarização Os métodos de limiarização (thresholding), ou binarização, consistem em converter uma imagem de entrada formada por muitos tons em uma imagem binária, ou seja, com apenas dois tons, através de um valor definido como limiar (GONZALES e WOODS, 000). A limiarização é uma operação ponto a ponto descrita por: f ' f'(x, ( f, l) 55, se f(x, Thresholding 0, caso contrário l onde l é o limiar definido, f é a imagem original e f' é a imagem binária. Em imagens coloridas os três planos de cor são considerados separadamente, sendo a limiarização aplicada a cada um deles. Após esta análise um ponto pode ser considerado completamente branco pela comparação com seu componente menos intenso através da operação lógica And entre os resultados de cada plano, ou pela comparação com seu componente mais intenso através da operação lógica Or entre os resultados de cada plano. A limiarização pela comparação com o componente mais intenso é mostrada na Figura 5. A operação foi aplicada utilizando-se um limiar de nível 48 sobre toda a imagem da qual foi retirada a Figura 4c. 11 Imagens 4a e 4b obtidas com uma câmara Connectix Color Quickcam

24 4 Figura 5 Limiarização Em vez de aplicar a limiarização separadamente em cada plano de cor da imagem pode-se primeiro operar os componentes de cada ponto obtendo um único valor a ser utilizado na comparação com o limiar definido. A distância euclidiana d da cor do ponto em (x, no cubo RGB até a origem (0,0,0) do cubo é dada pela equação: d f r ( x, f g ( x, fb( x, y ) onde f r, f g e f b são respectivamente os planos vermelho, verde e azul da imagem colorida f. A distância euclidiana pode ser utilizada para calcular o indicador de comparação para a limiarização desta imagem. 3.3 OPERAÇÕES POR VIZINHANÇA Enquanto que operações ponto a ponto obtém o resultado de um ponto na imagem de saída considerando apenas seu correspondente na entrada, operações por vizinhança consideram a região ao redor deste ponto. Considerando uma janela de vizinhança com dimensões m+1 e n+1, para um ponto na posição (x,, seus vizinhos obedecem às condições: ( x m) x' ( x m) ( y n) y' ( y n) onde (x',y') representa um candidato a vizinho de (x, Convolução A convolução é uma operação por vizinhança que consiste em aplicar sobre uma imagem digital uma máscara espacial, ou filtro espacial (JAIN, 1989). Uma máscara é uma matriz de valores dispostos de forma que o centro da matriz corresponde a um dado ponto na imagem de entrada e os demais valores correspondem aos vizinhos deste ponto. Cada um dos pontos da saída é calculado pelo somatório das multiplicações dos elementos da máscara com seus respectivos pontos da entrada. Um coeficiente de normalização é aplicado ao resultado do somatório, sendo a equação geral da convolução dada por: f ' f '( x, Convolution 1 k ( f, m c m r g, m, n, k) n n f ( x c, y r) g( c m, r n)

25 5 onde g é a máscara espacial, f é a imagem de entrada, f' é a imagem resultante da operação e k é o coeficiente de normalização. Para reduzir o custo computacional já elevado da convolução, apenas valores inteiros, positivos ou negativos, são utilizados na matriz com a máscara espacial. Como a representação de cada componente da imagem varia de 0 a 55, deve-se tomar medidas que tratem os resultados que extrapolam este intervalo. Trabalhando-se com imagens coloridas a convolução deve ser aplicada a cada plano de cor da imagem. A aplicação da convolução com um filtro passa-baixas (lowpass) bloqueia as altas freqüências, ou seja, suaviza as transições entre os pontos de uma imagem digital. Ao mesmo tempo que este filtro reduz o ruído presente na imagem ocorre um borramento desta. A matriz de pesos do filtro passa-baixas é representada pela equação gaussiana bidimensional, mas simplificada conforme mostra a Figura 6. Para recuperar a definição de uma imagem aplica-se a convolução com um filtro recupera-altas (high restore) que consiste na inversão do passabaixas (a) (b) Figura 6 Operadores: passa-baixas (a) e recupera-altas (b) A Figura 7 apresenta a aplicação da convolução com os operadores passa-baixas e recupera-altas sobre a Figura 4a. É possível perceber que as transições de cores são suaves na Figura 7a e abruptas na Figura 7b. Para estes tipos de filtros é interessante truncar os resultados que excedem os limites de representação. (a) (b) Figura 7 Aplicação dos operadores: passa-baixas (a) e recupera-altas (b) Um filtro passa-altas tem por objetivo bloquear as baixas freqüências através da quantificação da variação entre um ponto e seus vizinhos. O operador laplaciano passa-altas pode ser simplificado obtendo-se sua forma discreta conforme mostra a Figura Figura 8 Operador laplaciano passa-altas

26 6 O grau de mudança em uma função é medido pelo seu gradiente. O gradiente de uma imagem pode ser obtido pela convolução com os operadores de gradiente vertical e horizontal. Os operadores de gradiente de Prewitt e Sobel são apresentados na Figura 9. Sendo v e h respectivamente os resultados da aplicação dos operadores de gradiente vertical e horizontal, a tangente da direção do gradiente é dada por v / h Prewitt Sobel Horizontal Vertical Figura 9 Operadores de gradiente Prewitt e Sobel Tanto os operadores de gradiente como o filtro passa-altas são derivativos, ou seja, obtém as informações de transição entre os pontos de uma imagem. Para não se perder as informações de transição negativa destes casos é interessante somar 17 aos resultados antes de truncá-los pelo intervalo [0..55]. Outra alternativa de tratamento de valores negativos é obter o valor absoluto dos resultados antes de truncá-los. Esta segunda opção é bem aplicada para a detecção de bordas na imagem. A Figura 10 apresenta o resultado absoluto da convolução sobre a Figura 4a utilizando os operadores derivativos. Com os operadores de Sobel obteve-se os gradientes vertical (10a) e horizontal (10b) percebendo-se a transição dos pontos nestes sentidos. A transição dos pontos em ambos os sentidos é obtida através do operador laplaciano passa-altas (10d) ou pela operação lógica Or entre as Figuras 10a e 10b. (a) (b) (c) (d) Figura 10 Aplicação de operadores derivativos

27 7 Sendo uma borda caracterizada pela variação absoluta entre dois pontos vizinhos, os operadores de gradiente assim como passa-altas podem ser empregados para detectá-la. Enquanto que o operador passa-altas laplaciano ressalta bordas em qualquer direção, os operadores de gradiente ressaltam bordas direcionadas. Uma alternativa bastante interessante para detecção de bordas é a verificação do cruzamento por zero da segunda derivada. A matriz com o filtro espacial é obtida a partir da segunda derivada da equação gaussiana (JAIN, 1989), e a convolução é aplicada de forma a guardar os valores positivos e negativos do somatório. Depois da convolução são considerados como borda os pontos onde ocorrer o cruzamento por zero no sentido vertical ou horizontal. O tamanho da matriz é proporcional à espessura dos objetos que formam as bordas. Bons resultados desta técnica exigem filtros grandes em relação aos operadores descritos acima, tendo assim um custo computacional maior Morfologia Técnicas morfológicas são operações por vizinhança que analisam a forma dos objetos através de operações de conjuntos (DAVIES, 1996). A dilatação (dilation) e a erosão (erosion) são os operadores morfológicos básicos sendo aplicados sobre imagens binárias onde pontos brancos são considerados marcados e os pretos, desmarcados. A operação de dilatação consiste em expandir uma imagem binária marcando pontos que antes não estavam marcados através da verificação de marcação de seus vizinhos. De forma simplificada, um ponto é marcado se o número de pontos marcados em sua vizinhança for maior que um determinado limiar. Independentemente da vizinhança, pontos originalmente marcados continuam marcados. A operação de dilatação é descrita por: f ' f'(x, ( f, m, n, l) m n Dilation 55, se f(x, 0, caso contrário 55 c m r n onde f é a imagem original, f' é a imagem resultante da dilatação, m e n são utilizados para cálculo da janela de vizinhança, l é o número definido para caracterizar a dilatação e g retorna 1 se o ponto estiver marcado ou 0 se estiver desmarcado. Contrária à dilatação, a erosão encolhe uma imagem binária desmarcando pontos que estavam marcados, verificando a não marcação de seus vizinhos. Também de forma simplificada, um ponto é desmarcado se em sua vizinhança o número de pontos desmarcados for maior ou igual a um valor determinado. Independentemente da vizinhança, pontos originalmente desmarcados continuam assim. A operação de erosão é descrita por: f ' f'(x, Erosion g( x c, y ( f, m, n, l) m n 0, se f(x, 0 55, caso contrário c m r n g( x onde f é a imagem original, f' é a imagem resultante da erosão, m e n são utilizados para cálculo da janela de vizinhança, l é o número definido para caracterizar a erosão e g retorna 1 se o ponto estiver desmarcado ou 0 se estiver marcado. c, y r) r) l l

28 8 Pela combinação das operações de dilatação e erosão obtém-se a abertura e o fechamento de uma imagem. A abertura caracteriza-se por suavizar as bordas dos objetos através da remoção de pontas e istmos estreitos enquanto que o fechamento tende a suavizar os contornos dos objetos preenchendo as falhas e golfos estreitos. A abertura é dada por uma erosão seguida de uma dilatação e o fechamento por uma dilatação seguida de erosão. A Figura 11 apresenta os resultados das operações de abertura e fechamento sobre a imagem binária (11a) 1. Tanto a abertura (11b) quanto o fechamento (11c) foram aplicadas com uma janela de vizinhança 3 por 3 e com l igual a 1. Pode-se perceber na Figura 11b que a bola continua com a mesma massa mas os demais pontos foram removidos. (a) (b) (c) Figura 11 Operações morfológicas Imagens não binárias As operações morfológicas apresentadas também podem ser aplicadas sobre imagens não binárias. Para aplicar as operações de erosão e dilatação sobre estas imagens utiliza-se um elemento g(x, que estrutura a operação (GONZALES e WOODS, 000). A dilatação sobre uma imagem não binária f(x, é definida por f ' Dilation( f, n, m, g) f '( x, m n max max f ( x c, y r) g( c m, r c m r n onde f' é a imagem resultante da dilatação, m e n são utilizados para cálculo da janela de vizinhança e g é o elemento estruturante. De forma similar, a erosão sobre uma imagem não binária f(x, é definida por: f ' Erosion( f, n, m, g) f '( x, m n min min f ( x c, y r) g( c m, r c m r n onde f' é a imagem resultante da erosão, m e n são utilizados para cálculo da janela de vizinhança e g é o elemento estruturante. A Figura 1 apresenta a aplicação da erosão (1a) e dilatação (1b) sobre parte de uma imagem de uma bola sobre um campo para futebol de robôs (Figura 4a). Como a imagem em questão é colorida as operações são aplicadas sobre cada um dos três planos de cor separadamente. n) n) 1 Parte da Figura 5

29 9 (a) (b) Figura 1 Morfologia sobre imagens não binárias 3.4 TRANSFORMADA DE HOUGH A transformada de Hough é uma alternativa para localização global de estruturas definidas por equações parametrizáveis como retas e círculos em uma imagem digital. Para isto é necessário que um mapa de bordas tenha sido previamente obtido. A inversão dos parâmetros utilizados em uma determinada equação permite que cada ponto no plano cartesiano seja representado por uma equação no domínio de Hough. Da mesma forma, um ponto do domínio de Hough corresponde a uma equação no plano cartesiano. Uma matriz com valores inicializados em zero corresponde ao domínio de Hough. Para cada ponto de borda no plano cartesiano os pontos correspondentes nesta matriz são incrementados. Após a verificação de todos os pontos de borda, os pontos no domínio de Hough com os maiores contadores correspondem às equações procuradas no plano cartesiano. A localização de uma reta no plano cartesiano utiliza a equação: x cos( ) y sen( ) d onde é o ângulo da reta e d é a sua distância até a origem. Para cada ponto de borda (x, um valor d é calculado para todo o intervalo de incrementando-se os pontos (,d) no domínio de Hough. Um círculo a ser localizado no plano cartesiano é representado pela equação: ( x, x' r cos( ), y' r sen( ) onde (x',y') corresponde ao centro do círculo, r é o raio do círculo e teta representa o ângulo da reta entre o centro e a posição (x,. O raio do círculo deve ser fixo para que o domínio de Hough possa ser representado bidimensionalmente. Assim, para cada ponto de borda (x, os valores x' e y' são calculados para todo o intervalo de. 3.5 SEGMENTAÇÃO PELA AGREGAÇÃO DE PONTOS As técnicas de segmentação são muito importantes para a obtenção de informações a partir de imagens digitais. A segmentação consiste basicamente em dividir uma imagem em regiões, ou segmentos, com cores semelhantes de forma a obter os objetos nela presentes. A segmentação de imagens pela agregação de pontos consiste em crescer segmentos a partir de sementes. O crescimento é dado pela verificação da semelhança dos pontos

30 30 conectados a pelo menos um ponto do segmento. Sendo um ponto p na posição (x, e um ponto p' na posição (x',y'), diz-se que p e p' estão conectados se obedecerem à condição: x x' y y ' 1 Para a associação de cada ponto na imagem ao seu respectivo segmento é utilizado um mapa. A Figura 13 apresenta um mapa de segmentos (13b) obtido da imagem de uma bola sobre um campo para futebol de robôs (13a) 13. Os conjuntos de pontos da mesma cor, exceto pelo preto, no mapa de segmentos correspondem aos segmentos obtidos da imagem original. (a) Figura 13 Mapa de segmentos (b) A técnica de agregação de pontos possui como base a quantificação da diferença de cor entre dois pontos para verificar se um dado ponto deve ser agregado a um segmento. Duas abordagens distintas serão descritas para verificação de transições: comparação com a semente e comparação com o vizinho. Na agregação de pontos pela comparação com a semente, um dado ponto é agregado à um segmento se, além de estar conectado a pelo menos um ponto do segmento, for constatada a similaridade deste com a semente do segmento. A similaridade é verificada se a diferença das cores dos pontos for menor que um limiar estabelecido. Escolhas diferentes de sementes podem resultar em localizações diferentes para uma mesma imagem. Desta forma o sucesso desta abordagem depende de uma boa escolha das sementes. Para agregar um ponto a um segmento utilizando a abordagem de comparação com o vizinho, a similaridade entre o ponto e pelo menos um ponto do segmento que esteja conectado a ele deve ser verificada. Independente das sementes utilizadas, para uma mesma imagem os mesmos objetos serão localizados. Assim a abordagem não depende do ponto de início da agregação, mas está suscetível à vazamentos. Um vazamento ocorre quando um ou mais limites do segmento não alcança a diferença estabelecida como limiar, unindo dois segmentos que deveriam permanecer separados. 13 Imagem (13a) obtida com uma câmara Connectix Color Quickcam