Reconhecimento de Objetos em Tempo Real Utilizando Visão Computacional para o Futebol de Robôs

Transcrição

1 DEPARTAMENTO ACADÊMICO DE SISTEMAS, PROCESSOS E CONTROLES ELETRO-ELETRÔNICO COORDENAÇÃO DE SISTEMAS DE INFORMAÇÃO Reconhecimento de Objetos em Tempo Real Utilizando Visão Computacional para o Futebol de Robôs Felype Nery de O. Vasconcelos Raphael Passos Gibson Recife Agosto

2 Felype Nery de O. Vasconcelos Raphael Passos Gibson Reconhecimento de Objetos em Tempo Real Utilizando Visão Computacional para o Futebol de Robôs Trabalho de Conclusão de Curso apresentado ao curso de Tecnologia em Análise e Desenvolvimento de Sistemas, como prérequisito para obtenção do título de Tecnólogo em Análise e Desenvolvimento de Sistemas pelo Instituto Federal de Educação, Ciência e Tecnologia de Pernambuco - IFPE. Orientador: Prof. Msc. Paulo Abadie Guedes Recife Agosto 2014

3 ii

4 iii AGRADECIMENTOS Agradecemos primeiramente a Deus e às nossas famílias por todo apoio e confiança, sem eles nada seria possível. Ao professor Paulo Abadie por toda a dedicação e paciência conosco durante a graduação e orientação neste trabalho, ao professor Anderson Moreira por sempre se mostrar disponível para ajudar e contribuir com o projeto e aos outros professores e funcionários do curso que de alguma forma contribuíram com o nosso amadurecimento profissional, pessoal e acadêmico. Agradecemos também às amizades que fizemos durante o curso que sempre nos incentivaram e tornaram nossa graduação mais divertida, não temos dúvidas que todos serão excelentes profissionais.

5 iv LISTA DE ACRÔNIMOS BPP F180 FIRA EAPH GPU GUI HSI HSV IDE IEEE IFPE NASA OpenCV PERCRO RAM RGB RoboCup ROI SSL SVC VM VRAM Bit Per Pixel Categoria Small Size Robot Soccer Federation International of Robot soccer Association Exoesqueletos para Aumento de Performance Humana Graphics Processing Unit Graphical User Interface Hue, Saturation and Intensity Hue, Saturation and Value Ambiente Integrado de Desenvolvimento Institute of Electrical and Electronics Engineers Instituto Federal de Educação, Ciência e Tecnologia de Pernambuco National Aeronautics and Space Administration Open Source Computer Vision Library Perceptual Robotics Laboratory Random Access Memory Red, Green, Blue Robot World Cup Initiative Region of Interest Small Size League Sistema de Visão Computacional Virtual Machine Video RAM

6 v LISTA DE EQUAÇÕES Equação 1 - Convolução Contínua Equação 2 - Convolução Discreta Equação 3- Transformação de RGB para HSI Equação 4 - Transformação de HSI para RGB Equação 5 - Erosão de A por B Equação 6 - Dilatação de A por B Equação 7 - Condição de Limiarização Equação 8 - Momentos de ordem p+q Equação 9 - Momentos aplicados a imagens Equação 10 - Momentos centrais Equação 11 - Variância em X e Y Equação 12 - Direção do Objeto... 27

7 vi LISTA DE FIGURAS Figura 1 - Imagem do PERCRO BE... 5 Figura 2 - Projeto Andar Denovo... 6 Figura 3 - Humanoid League... 8 Figura 4 - Middle Size League... 8 Figura 5 - Simulation League 2D e 3D, respectivamente... 9 Figura 6 - Robôs Aibo e Nao, respectivamente... 9 Figura 7 - Robôs da categoria F Figura 8 - Sistema do Futebol de Robôs Figura 9 - Representação de um sistema de visão computacional genérico Figura 10 - Adaptador gráfico simples Figura Níveis de intensidade Figura 12 - Monitor colorido Figura 13 Versão 8 bits, 16 bits e 64 bits do personagens Mario Figura 14 - Conceito de 4-vizinhança, vizinhança diagonal e 8-vizinhança Figura 15 - Representação do cubo RGB Figura 16 - Repreentação do cone HSI Figura 17 - Exemplo de Binarização Figura 18 - Tela do SSL-Vision Figura 19 - Tela do Projeto Find-Object Figura 20 - Exemplo de detecção de faces com OpenCV Figura 21 - Câmera na posição vertical Figura 22 - Campo Colocado na Parede Figura 23 - Passos para a calibração da câmera Figura 24 - Definição da Região de Interesse Figura 25 - Calibração das cores dos marcadores Figura 26 - Fluxograma do processamento Figura 27 - Identificação dos objetos no campo Figura 28 - Significado dos marcadores nos robôs Figura 29 - Reconhecimento dos robôs e da bola Figura 30 - Gráfico do tempo em segundos Vs Quantidade de robôs Figura 31 - Criando um exemplo no Qt Studio Figura 32 - Qt Studio configurado com o OpenCV... 54

8 vii Figura 33 - Vista em corte do olho humano Figura 34 - Como a imagem chega ao cérebro Figura 35 - Abertura e fechamento da córnea... 76

9 viii RESUMO O futebol de robôs se apresenta à comunidade científica com o intuito de ser um problema padrão para a pesquisa nas áreas de inteligência artificial, robótica e visão computacional. O problema consiste em realizar uma partida de futebol utilizando robôs autônomos como jogadores. Este tipo cenário envolve diversos problemas relacionados a muitas áreas do conhecimento, fazendo com que os participantes apliquem soluções com uma equipe multidisciplinar. Este trabalho descreve o projeto e a implementação de um módulo de visão computacional para futebol de robôs que utiliza uma abordagem por espaço de cores HSV e descritores, de forma que utilizam o método estatístico dos momentos. O módulo desenvolvido foi capaz de oferecer informações sobre a posição e identificação dos jogadores e da bola através da aquisição e processamento de imagens em tempo real, permitindo que ações possam ser tomadas automaticamente pela equipe. Palavras-chave: Visão Computacional, Futebol de Robôs, OpenCV, Descritores, HSV

10 ix ABSTRACT The robot soccer presents itself to the scientific community in order to be a standard problem for research in the areas of artificial intelligence, robotics and computer vision. The problem consists in bringing a soccer match using autonomous robots as players where this scenario involves several kinds of issues relating to many areas of knowledge, causing the participants to apply technical solutions with a multidisciplinary team. This work describes the project and the implementation of a computer vision module for robot soccer that uses an approach by the HSV color space and shape descriptors using the statistical method of moments. The module developed was able to providing information about the location and identification of the players also the ball through the acquisition and processing of images in real time, allowing actions to be taken automatically by the team. Keywords: Computer Vision, Robot Soccer, OpenCV, Descriptors, HSV

11 x SUMÁRIO 1. INTRODUÇÃO MOTIVAÇÃO OBJETIVO GERAL OBJETIVOS ESPECÍFICOS FUNDAMENTAÇÃO TEÓRICA ROBÓTICA FUTEBOL DE ROBÔS Modalidades Small Size League MÓDULO DE VISÃO DO FUTEBOL DE ROBÔS VISÃO COMPUTACIONAL PROCESSAMENTO DE IMAGENS Imagem Digital Vizinhanças de um Pixel Conectividade Convolução com Máscaras Modelos de Cor Operações Morfológicas Limiarização Região de Interesse Segmentação Descritores de Forma Momentos FERRAMENTAS SSL-Vision Find-Object OpenCV IDEs METODOLOGIA CAPTURA DA IMAGEM... 33

12 xi 3.2. CALIBRAÇÃO PROCESSAMENTO EXIBIÇÃO DAS INFORMAÇÕES RESULTADOS CONCLUSÕES E TRABALHOS FUTUROS BIBLIOGRAFIA APÊNDICES APÊNDICE 1 - INSTALAÇÃO DO OPENCV APÊNDICE 2 - CONFIGURAR O ECLIPSE, NETBEANS E QT STUDIO Eclipse NetBeans Qt Studio APÊNDICE 3 CÓDIGO-FONTE DO TRABALHO tcc.pro main.cpp mainwindow.ui mainwindow.h mainwindow.cpp Objeto.h Objeto.cpp Bola.h Bola.cpp Marcador.h Marcador.cpp Robo.h Robo.cpp APÊNDICE 4 BUG: UVCVIDEO ANEXOS SISTEMA DE VISÃO HUMANA... 74

13 xii No! Try not! Do... or do not. There is no try Master Yoda, Star Wars V

14 1. Introdução Este capítulo tem como objetivo introduzir o tema da pesquisa. Para isto, será explanado de forma simples o que incitou a pesquisa e por qual razão desenvolvê-la, bem como os objetivos gerais e específicos deste trabalho Motivação Encontramos diversas pesquisas no meio acadêmico sobre a utilização de sistemas de visão por máquina. Sua aplicabilidade é imensa, desde a robótica na exploração espacial até a medicina com a detecção de tumores. Dessa forma podemos afirmar que não existe uma implementação padrão para a resolução destas aplicações, o desenvolvimento vai depender dos objetivos de cada problema. Muitas vezes é necessário utilizar técnicas de inteligência artificial para poder avaliar o resultado encontrado de forma autônoma ou mesmo melhorar os parâmetros de entrada do sistema, tornando mais complexo de ser desenvolvido, porém mais robusto. A utilização destes algoritmos não estão limitados ao meio acadêmico e científico. Encontramos soluções com a utilização das técnicas na indústria e no comércio, como por exemplo, na automação industrial e no controle de qualidade (RUDEK; COELHO; CANCIGLIERI, 2001). Já o futebol de robôs é um desafio que é fortemente utilizado para estudos em diversas áreas como na eletrônica, mecânica e computação. Essa complexidade vem atraindo os olhares da comunidade acadêmica já que em um único campo de pesquisa podemos unir o fascínio do esporte com os desafios da robótica. Como é um ambiente dinâmico e de tempo real 1, o futebol de robôs torna-se um ótimo campo de estudo de caso para as técnicas de análise e processamento de imagens com objetivo de 1 Um sistema em tempo real é aquele que tem um tempo de resposta limite a um evento é pré-definido. Esse tempo de resposta é chamado de prazo da tarefa e a perda de um prazo, isto é, o não cumprimento de uma tarefa dentro do prazo esperado, caracteriza uma falha do sistema, que no nosso caso seria a não identificação do robô em um tempo limite de alguns milisegundos.

15 Introdução 2 reconhecer a posição e o movimento de cada objeto com a necessidade que ocorra um retorno rápido e preciso para o sucesso na partida de futebol. Uma das etapas mais importantes para o desenvolvimento de uma equipe de futebol de robôs é a implementação de seu sistema de visão. Basicamente, o sistema de visão computacional será responsável por localizar os elementos participantes (a bola e jogadores) e interpretar as informações adquiridas para a definição da melhor estratégia e ações a serem tomadas Objetivo Geral O objetivo do nosso trabalho é o desenvolvimento do módulo de visão computacional do time de futebol de robôs do IFPE que identifique os robôs e a bola no campo, através de ferramentas de código aberto Objetivos Específicos Desenvolver um módulo de visão computacional com base nos resultados obtidos com o OpenCV e com outros projetos que foram pesquisados e documentados neste trabalho com ferramentas open-sources. O módulo deve implementar um algoritmo para calibração e reconhecimento dos elementos aplicados ao futebol de robôs. Criar um tutorial simples para a configuração completa do ambiente de desenvolvimento no Linux, voltado à criação de sistemas de visão computacional. Antes de aplicar a metodologia escolhida vamos explicar os principais conceitos que serão necessários para criação de um sistema de visão computacional aplicado à robótica no capítulo 2. Serão abordados a história da robótica, criação do futebol de robôs bem como suas organizações e categorias. Depois partiremos para os principais conceitos da visão computacional e de processamento de imagens. No capítulo 3 analisamos as bibliotecas que são definidas pelas regras da competição e outras que são genéricas, mas voltadas para o objetivo do trabalho. Levantamos os custos da aquisição dos componentes necessários para criação da estrutura de apoio da equipe, como câmeras e placa de captura. Testamos alguns projetos e por fim implementamos nossa soluçãoo algoritmo para calibração e reconhecimento dos elementos aplicados ao futebol de

16 Introdução 3 robôs que esta disponível no apêndice 3. Os resultados encontrados e conclusões estão no capítulo 4 e 5 respectivamente.

17 Fundamentação Teórica 4 2. Fundamentação Teórica Neste capítlo serão abordados a história da robótica, criação do futebol de robôs bem como suas organizações, categorias e regras. Depois partiremos para os principais conceitos da visão computacional e de processamento de imagens Robótica Podemos definir a robótica mais do que a união de conhecimentos da engenharia eletrônica, mecânica e da computação. A diversidade de tipos de robôs impedem que tenha uma definição que seja universalmente aceita. Acredita-se que o termo robótica foi usado pela primeira vez pelo escritor de ficção científica Isaac Asimov. Em 1941, foi lançada uma de suas mais famosas obras literárias, o livro I, Robot (Eu Robô). Nessa obra, Isaac Asimov descreveu as três leis da robótica, que segundo o autor, foram criadas exclusivamente para manter a segurança da humanidade. Segundo (RIA) um robô é um dispositivo mecânico articulado reprogramável, que de forma autônoma e recorrente à sua capacidade de processamento obtem informação do meio através de sensores, toma as decisões do que fazer de acordo com uma base de informações ou manipula objetos através de atuadores. Tal preocupação já citadas em obras científicas são justificadas atualmente. Em muitos setores da indústria existem sistemas de automação com robôs. Seja na realização de tarefas perigosas para os seres humanos ou atividades repetitivas que necessitam de uma alta demanda humana, a utilização de robôs no dia a dia é uma realidade. Uma das aplicações que demostram a importância da robótica é o projeto Mars Exploration Program (NASA, 2004) que desde 1997 apresenta resultados e descobertas, até então inalcançável através de robôs de exploração. Outra execelente aplicação são os Exoesqueletos para Aumento de Performance Humana que pertencem a uma classe especial de sistemas robóticos que são concebidos para aumentar as capacidades da força humana como demonstrado em (SIMONE et al., 2011) e (CASSADIO et al., 2011). A principal característica destes tipos de dispositivos é que o operador humano "veste" o robô e controla os movimentos do mesmo, movendo seus membros de forma natural. EHPA são geralmente destinados a aplicações de dispositivos

18 Fundamentação Teórica 5 de apoio aos idosos, pessoas com deficiências locomotoras, na área militar e em aplicações no qual a manipulação de materiais pesados em ambientes não estruturados ou estreitos são necessários. O laboratório PERCRO da Scuola Superiore Sant Anna completou recentemente o desenvolvimento e avaliação funcional do sistema Extensores Corporais BE. O sistema é composto por quatro membros robóticos com cinemática antropomórficas e tem um total de 22 graus de liberdade como visto na Figura 1. A perna dá locomoção e da força com uma servo-amplificação onde permite operações em ambientes que são de difícil acesso pelos convencionais sistemas de manuseio, preservando a sensibilidade durante a manipulação das tarefas. Figura 1 - Imagem do PERCRO BE (PERCRO, 2014) O brasileiro e neurocientista Miguel Nicolelis está desenvolvendo o primeiro exoesqueleto controlado apenas pela mente no mundo em conjunto com pesquisadores de vários países. O projeto se chama Walk Again ou Andar de novo (tradução oficial) e é um resultado de anos de pesquisa de Miguel Nicolelis na Universidade de Duke, EUA (NICOLELIS, 2014), onde o objetivo inicial seria um cadeirante levantar e andar como na Figura 2.

19 Fundamentação Teórica 6 Figura 2 - Projeto Andar Denovo (BLOGDACOPA, 2014) O projeto já apresentou resultados positivos com macacos e já está na fase final de treinamento com seres humanos. Na abertura da Copa do Mundo de Futebol no Brasil, foi feita a primeira demonstração com seres humanos para bilhões de pessoas em todo mundo, onde um paraplégico deu o pontapé inicial da primeira partida da Copa de 2014 que foi entre as seleções do Brasil e Croácia. Esses projetos e tantos outros, demonstram o poder e a importância da robótica para a sociedade (MOREIRA; VASCONCELOS, 2010) (YASUTOMI; MIRANDA, 2011) (BECKER, 2000) Futebol de Robôs Diversas áreas de pesquisa utilizam, como base para seus estudos, problemas de interesse público, de fácil entendimento e que apresentem resultados práticos. Esta prática estimula o ingresso de pesquisadores nestas áreas, além de divulgar os trabalhos realizados para o público em geral. Um problema de crescente aceitação acadêmica é o uso de robôs autônomos em partidas de futebol (PEREZ et al., 2012). Problemas de domínio simbólico, como o jogo de xadrez, possuem um ambiente estático com acesso total às suas informações. Em contraste, o futebol de robôs é realizado em um ambiente dinâmico e em tempo real. Uma partida de futebol com robôs autônomos pode ser utilizado como objeto de pesquisa em diversas áreas da engenharia e da ciência da computação (MEHL et al., 2001). Dentre estas áreas estão a robótica, a inteligência artificial, os sistemas multiagentes, a visão computacional e os sistemas de tempo real (COSTA; PEGORARO, 2000) (ASSIS et al., 2005) (DALBEM, 2010) (NEVES; TADDEI;

20 Fundamentação Teórica 7 BANDEIRA, 2004). O objetivo geral de uma equipe pode ser dividido em vários objetivos secundários, como obter a posse da bola, identificar a posição dos agentes no campo e fazer ou evitar gols. Levando em consideração a situação do jogo, cada membro da equipe deve ter um comportamento cooperativo, flexível e rápido para alcançar os objetivos do time. Os pesquisadores organizaram-se em torno do tema futebol de robôs com o objetivo de disseminar a utilização deste problema como plataforma de pesquisa. Paralelamente duas organizações foram criadas, ambas com o intuito de organizar competições internacionais de futebol de robôs e assim incentivar a produção científica na área e o aperfeiçoamento das equipes (KITANO et al., 1997). A Federation International of Robot Soccer Association organiza competições internacionais para a promoção do futebol de robôs desde A RoboCup é uma iniciativa internacional que incentiva a pesquisa sobre futebol de robôs através da organização de competições internacionais anuais desde 1997, (FIRA, 2014) no qual seu objetivo é em que 2050 o campeão do RoboCup vença o time campeão mundial humano (BURKHARD et al., 2002). As competições na RoboCup são divididas em várias modalidades, que variam quanto aos limites do campo e à forma dos robôs. Além de robôs reais, a FIRA e a RoboCup possuem modalidades no qual a partida é simulada Modalidades No RoboCup existem outras competições envolvendo robôs autônomos, entre elas estão as modalidades Rescue que promove a pesquisa e desenvolvimento no domínio socialmente significativo que é a de resgate em desastres onde a vida humana é colocada em risco, a que desenvolvem robôs que operam em cenários relacionados ao trabalho e a que visa desenvolver serviços de tecnologia assistida robótica com alta relevância para futuras aplicações domésticas pessoais. Ainda tem a modalidade Júnior que envolvem jovens estudantes desde a escola primária até alunos de graduação envolvidos em desafios de dança, futebol e resgate com robôs. Na parte de futebol, temos as modalidades: a. Humanoid: Robôs autônomos com um corpo e sensores parecidos com o de um humano para jogar futebol um contra o outro. Entre as muitas questões de pesquisa

21 Fundamentação Teórica 8 investigadas nesta liga estão as dinâmicas como andar, correr e chutar a bola, manter o equilíbrio, percepção visual da bola, de outros jogadores, e no campo, a auto localização e o jogo em equipe como visto na Figura 3. Figura 3 - Humanoid League (TECHNO, 2011) c. Middle Size: Robôs de tamanho médio de diâmetro não superior a 50 cm que deve jogar futebol em equipes de até seis robôs com uma bola de tamanho normal da FIFA em um campo semelhante a um campo de futebol humano em escala. Todos os sensores são on-board. Robôs podem usar a rede sem fio para se comunicar. O foco da pesquisa está em plena autonomia e cooperação a nível do plano e de percepção mostrado na Figura 4. Figura 4 - Middle Size League (NIPPON, 2012) d. Simulation: Esta é uma das ligas mais antigas da RoboCup Soccer. O foco nesta liga é em inteligência artificial e estratégia da equipe. Em simuladores, agentes de forma e movimentos independentes jogam futebol em um campo virtual dentro de um computador. Há duas subligas: 2D e 3D. Na Figura 5 é possível ver como são as ligas.

22 Fundamentação Teórica 9 Figura 5 - Simulation League 2D e 3D, respectivamente (DIGPLANET, 2014) (NEXUS, 2009) e. Standard Platform: Neste campeonato todas as equipes usam robôs padronizados. Portanto, as equipes se concentram no desenvolvimento do software apenas, enquanto usam o estado da arte em robôs. Usar visão omnidirecional não é permitido, forçando a tomada de decisão de compartilhamento do campo de visão de cada robô para a auto-localização e localização da bola. O campeonato substituiu o grande sucesso Four-Legged League, baseado nos robôs cão Aibo da Sony, e agora é baseada em robôs humanóides Nao na Figura 6. Figura 6 - Robôs Aibo e Nao, respectivamente (IGREBOT, 2014) (IAUBS, 2010)

23 Fundamentação Teórica Small Size League A SSL é uma das diversas modalidades de futebol de robôs da Robocup. Para essa categoria são utilizados robôs com o modelo especificado nas regras F180 2 (Small Size Robot Soccer). Segundo o manual da FIRA a modalidade SSL tem como característica o foco na cooperação entre os agentes e controle inteligente em um ambiente altamente dinâmico, com um sistema híbrido centralizado mostrado na Figura 7. Figura 7 - Robôs da categoria F180 (CORAL, 2010) A competição ocorre entre duas equipes de até seis robôs com medidas limitadas a 18 cm de diâmetro e 15 cm de altura, que participam de uma partida de futebol com uma bola laranja. Eles são identificados e monitorados por duas câmeras acopladas em cima do campo e conectadas a um computador como visto na Figura 8. O campo tem o formato retangular, feito com tapete ou carpete verde e com duas opções de tamanho, único com 6050mm x 4050mm e o dobrado com 8090mm x 605 mm. As demarcações do campo são feitas com linhas brancas de 10mm e o sistema de visão através das duas câmeras, localizadas uma em cada parte do campo, é compartilhada para as duas equipes onde os dados são enviados via Ethernet seguindo o protocolo do software SSL- Vision, que será mencionado na metodologia. 2 As regras da modalidade F180 estão disponíveis em Acessao em 2014

24 Fundamentação Teórica 11 Figura 8 - Sistema do Futebol de Robôs (LAB, 2008) 2.3. Módulo de Visão do Futebol de Robôs O módulo de visão computacional envolve as etapas de aquisição e identificação. Ele deve obter informações referentes aos componentes do jogo visualmente, permitindo a decisão de estratégia da equipe (SCHOUTE; POEL; HEIJDEN, 2003). Os componentes do jogo relevantes a este módulo são: os jogadores da equipe adversária, a bola e os jogadores da própria equipe. Existem duas abordagens possíveis em um módulo de visão para futebol de robôs: visão embarcada e visão global (MCMAHAN; BUNTING; MIDDLETON, 2014) (AIRES; ALSINA; MEDEIROS, 2001) (SCHWARTZ et al., 2003). No modelo de visão embarcada as imagens são adquiridas com a perspectiva dos jogadores, sendo que cada um dos robôs carrega consigo uma câmara (ANDRADE; MATOS; FREIRE, 2006). Diferente deste modelo, a visão global consiste na visualização de todo o campo (GARCIA et al., 2007). O primeiro passo da identificação visual é localizar a posição da bola e de todos os robôs, adversários ou não, no campo. Entretanto, antes deste passo o sistema vai naturalmente precisar de uma etapa de calibração de modo a se adaptar às condições de iluminação do campo, que será descrita na parte da metodologia deste trabalho. A representação da posição de cada um destes componentes pode ser feita através da sua posição relativa ou absoluta. Enquanto a posição relativa é dada pela sua distância em

25 Fundamentação Teórica 12 duas dimensões até um determinado ponto, a posição absoluta é representada por um par ordenado indicando sua posição no plano cartesiano que representa o campo. Para identificar a movimentação da bola e dos robôs adversários, é necessário determinar a direção do movimento de cada um e sua velocidade. Esta identificação é feita através de um acompanhamento temporal da posição global destes componentes. Os robôs que pertencem à equipe devem ser identificados para que o módulo de estratégia saiba a quem atribuir as ações (FIRA, 2014). Esta identificação pode ser feita através de uma associação pelo acompanhamento temporal ou através de marcas colocadas sobre cada um dos robôs. Marcas também devem ser utilizadas para possibilitar a identificação da orientação de cada robô, outra informação necessária para o módulo de estratégia. Além de responder ao sistema com confiabilidade, exatidão, regularidade e latência mínima, o módulo de visão deve ser robusto a alterações da iluminação e a mudanças na cor do campo de jogo, e deve suportar as variações de cores utilizadas pela equipe adversária. Estas características indicam a qualidade da implementação do módulo e determinam o sucesso da equipe em competições (BIANCHI; REALI-COSTA, 2000) (MARTINEZ- GOMEZ; WEITZENFELD, 2004) Visão Computacional Um SVC é um sistema computadorizado capaz de adquirir, processar e interpretar imagens correspondentes a cenas reais (GONZALES; RICHARD, 2000). As etapas são semelhantes ao sistema visual humano, como visto no Anexo 1. A Figura 9 mostra esquematicamente um diagrama de blocos de um SVC, onde as etapas deste são: aquisição de imagens, pré-processamento, segmentação, extração de características, reconhecimento e interpretação. Vale ressaltar que nem todos os os SVCs possuem todas estas etapas (BALLARD; BROWN, 1982).

26 Fundamentação Teórica 13 Figura 9 - Representação de um sistema de visão computacional genérico (FILHO; NETO, 1999) A aquisição da imagem envolve a escolha do tipo de sensor, o conjunto de lentes a utilizar, as condições de iluminação da cena, os requisitos de velocidade de aquisição (assumindo que os robôs estariam a todo momento mudando de lugar), a resolução e o número de níveis de cinza da imagem que poderiam estar digitalizada, dentre outros. O pré-processamento consiste em aprimorar a qualidade da imagem para as etapas subsequentes. As operações efetuadas nesta etapa são ditas de baixo nível porque trabalham diretamente com os valores de intensidade dos pixels. A imagem resultante desta etapa é uma imagem digitalizada de melhor qualidade (com menos ruídos) que a original. A tarefa básica da etapa de segmentação é a de dividir uma imagem em suas unidades significativas, ou seja, nos objetos de interesse que a compõem. Esta tarefa, apesar de simples de descrever, é uma das mais difíceis de implementar. Reconhecimento é o processo de atribuição de um rótulo a um objeto baseado em suas características, traduzidas por seus descritores. A tarefa de interpretação, por outro lado, consiste em atribuir significado a um conjunto de objetos reconhecidos. Todas as tarefas das etapas descritas acima pressupõem a existência de um conhecimento sobre o problema a ser resolvido, armazenado em uma base de conhecimento, cujo tamanho e complexidade podem variar enormemente. Idealmente, esta base de conhecimento deveria não somente guiar o funcionamento de cada etapa, mas também permitir a realimentação entre elas (RUDEK; COELHO; CANCIGLIERI, 2001) (BIANCHI, 2001).

27 Fundamentação Teórica Processamento de Imagens Como um subcampo do processamento digital de sinais, o processamento digital de imagem possui algumas vantagens sobre o processamento analógico de imagem como por exemplo, permitir que uma série mais ampla de algoritmos sejam aplicados aos dados de entrada e poder evitar problemas como a distorção de sinais durante o processamento e o acúmulo de ruídos. Da etapa de aquisição até o reconhecimento e interpretação dos dados é necessário utilizar várias técnicas (como morfológicas), que serão necessárias para resolver o problema em questão. As técnicas relevantes para este trabalho serão abordadas posteriormente Imagem Digital Uma imagem digital consiste em um arranjo bidimensional de valores que representam as características luminosas de objetos em uma cena, sendo cada um destes elementos chamado de pixel (picture element). Uma imagem digital pode ser representada por uma função bidimensional f(x,y), onde x indica uma coluna e y uma linha na imagem (FILHO e NETO, 1999). Mas antes da imagem ser exibida na tela, ela tem que primeiro ser escrita para locais de memória RAM endereçáveis. Estes são agora chamados de adaptadores gráficos, mais precisamente descrito como RAM de vídeo. VRAM locais são então digitalizadas e a saída resultante de cada célula ativa um pixel correspondente na tela. (HUMPHRIS, 2013) Na Figura 10 é possível ver um exemplo de um display monocromático de dois níveis, preto e branco, com 150 pixels. Displays monocromáticos requerem apenas um bit por pixel que está definido para binário 1 para a ativação do mesmo ou 0 para desliga-lo.

28 Fundamentação Teórica 15 Figura 10 - Adaptador gráfico simples (HUMPHRIS, 2013) Para aumentar a quantidade de tons discretos é preciso aumentar os níveis da VRAM. Como visto na Figura 11, para se ter 255 tons é preciso ter 8 níveis de VRAM. As posições de linha e coluna são digitalizada exatamente como antes só que desta vez um terceiro valor é calculado o qual é derivado a partir da combinação dos oito níveis. Isso irá produzir um valor equivalente decimal entre 0 e 255, onde desabilita o pixel e 255 habilita totalmente para o máximo de intensidade. O cálculo da posição superior do pixel esquerdo é mostrada como um exemplo na Figura 11. Comparando esta com o exemplo anterior pode-se ver que, para produzir 255 tons requer oito vezes mais memória. Figura Níveis de intensidade (HUMPHRIS, 2013)

29 Fundamentação Teórica 16 A última etapa no desenvolvimento da compreensão de uma imagem digital, seria a expansão para as cores, que são as combinações de três matrizes VRAMs para as saídas R, G, B, representando respectivamente os componentes vermelho, verde e azul da cor da imagem na posição. Segundo (HUMPHRIS, 2013), cada cor é tratada separadamente; transformando quaisquer dois pixels para fora das três, onde a tríade resultaria em um display colorido único como visto na Figura 12. A mistura de cores é feita dentro do olho humano onde os pixels vermelhos, verdes e azuis são ativados a vários graus como explicado no Anexo 1. Figura 12 - Monitor colorido (HUMPHRIS, 2013) As placas gráficas têm a sua própria memória de vídeo dedicada para armazenar imagens de tela e quanto mais melhor. Normalmente, uma placa de vídeo com 64 MB ou 128MB irá atender a maioria das aplicações, mas esta deve ser aumentada para 256 MB ou trabalhar com Gigabytes para lidar com jogos de computador e renderizações, por exemplo. Segundo (FILHO; NETO, 1999) a profundidade de cor é um termo da computação gráfica que descreve a quantidade de bits usados para representar a cor de um único pixel numa imagem. Este conceito é conhecido também como bits por pixel (bpp) e quanto maior a quantidade de bits presente na imagem, maior é a escala de cores disponível.

30 Fundamentação Teórica 17 A Figura 13 mostra um exemplo deste efeito, na diferença do nível de detalhes do personagem da Nintendo Mario. Neste exemplo, tanto a quantidade de pontos como a quantidade de cores varia significativamente. Figura 13 Versão 8 bits, 16 bits e 64 bits do personagens Mario 3 (PODCASTS, 2014) Vizinhanças de um Pixel Como dito anteriormente, o pixel p será representado pela coordenada (x,y). Considerando um pixel p, suas coordenadas terão quatro vizinhos horizontais e verticais cujo suas localizações no plano serão representadas da seguinte forma: (x+1, y), ( x-1, y), (x, y+1) e (x, y-1). Esse conjunto de pixels é conhecido como vizinhança de 4 de p. Cada pixel está a uma distância de (x,y), sendo que alguns vizinhos de p poderão ficar de fora se o pixel em questão estiver em uma borda da imagem digital. Também podemos representar os quatro vizinhos diagonais de p. Suas coordenadas são: (x+1, y+1), ( x-1, y-1), (x-1, y+1) e (x-1, y-1). Esses pontos junto com a vizinhança de 4 são chamadas de vizinhança de 8 de p. Da mesma forma que a vizinhança de 4, alguns pontos da imagem poderão estar fora se a mesma 3 Todos os direitos do personagem Mario são reservados à Nintendo Company, Limited

31 Fundamentação Teórica 18 se encontrar na borda. Na Figura 14 podemos visualizar os 3 tipos de vizinhanças com os pontos marcados com cinza. Figura 14 - Conceito de 4-vizinhança, vizinhança diagonal e 8-vizinhança (GONZALES; RICHARD, 2000) Conectividade O conceito de conectividade é fundamental para identificação das bordas e de regiões de interesse de um objeto em uma imagem. Dois pixels estão conectados se os mesmos de alguma forma estão inclusos em algum tipo de vizinhança e se são de valores ou níveis de cinza, similares. (GONZALES; RICHARD, 2000) Convolução com Máscaras Em processamento de imagens é muito frequente utilizar técnicas como digitalização, detecção de bordas e filtragem de ruídos, nas quais são efetuadas a partir do conceito de convolução de máscaras. A operação de convolução unidimensional entre dois vetores A e B, denotada A*B, pode ser entendida como um conjunto de somas de produtos entre os valores de A e B, sendo que inicialmente o vetor B é espelhado e após cada soma de produtos é deslocado espacialmente de uma posição (FILHO; NETO, 1999). Este raciocínio pode ser expandido para o caso bidimensional, onde a imagem a ser processada é uma matriz relativamente grande e corresponde ao conjunto A, enquanto uma matriz de pequenas dimensões (também chamada máscara ou janela) corresponde ao conjunto B (JÄHNE, 1991). A máscara percorrerá todos os pontos da imagem deslocando-se ao longo de cada linha e entre as várias linhas, da direita para a esquerda, de cima para baixo, até ter processado

32 Fundamentação Teórica 19 o último elemento da matriz imagem. O resultado será armazenado em uma matriz de mesmas dimensões que a imagem original. Matematicamente, na sua forma contínua ela é definida como a integral do produto de uma das funções por uma cópia deslocada e invertida da outra; a função resultante h depende do valor do deslocamento. Se x for a variável independente e u, o deslocamento, a fórmula pode ser escrita como na Equação 1: + (f g)(x) = h(x) = f(u) g(x u)du Equação 1 - Convolução Contínua (WIKIPÉDIA, 2014) Entretanto, em imagens digitais, é usada a definição de convoluções para funções de domínio discreto como visto na Equação 2. (f g)(k) = h(k) = f(j) g(k j) j=0 Equação 2 - Convolução Discreta (WIKIPÉDIA, 2014) k No qual f e g são sequências de tamanho n e a fórmula fornece o valor do k-ésimo elemento do resultado. Deve-se notar que o tamanho de h na Equação 2 é 2n-1, isto é, k varia de 0 a 2n Modelos de Cor O modelo RGB O modelo padrão de representação de cores em imagens digitais é chamado de RGB (Red, Green and Blue). Penharbel, et al. (2004) falam que esse modelo é usado pela maioria dos dispositivos de aquisição e visualização de imagens, podendo ser visto como um cubo de cores na Figura 15 onde os componentes vermelho, verde e azul correspondem aos eixos x, y e z.

33 Fundamentação Teórica 20 Figura 15 - Representação do cubo RGB (PENHARBEL et al., 2004) Os tons de cinza ocorrem quando os três componentes possuem valores iguais, seguindo a diagonal principal do cubo, com a origem (0,0,0), preta, e a extremidade inversa (255,255,255), branca O modelo de cores HSV O modelo HSV (Hue, Saturation and Value) que tem o formato cilíndrico, também é conhecido no seu formato cônico como HSI (Hue, Saturation and Intensity) e é o modelo de cores que mais se aproxima da percepção humana, onde H significa e representa a matiz e S à saturação visto na Figura 16. O componente V ou I, representa a intensidade da cor, deslocando verticalmente o vetor da cor. Figura 16 - Repreentação do cone HSI (PENHARBEL et al., 2004)

34 Fundamentação Teórica 21 Segundo (CARDANI, 2004) o espaço de cores HSI tem um formato de cone, com H variando de 0 a 360 graus e S e I variando de 0 a 100 por cento, como mostrado na anterior. As equações de transformação do formato de cor do RGB para o HSV, e vice versa, podem ser vistas nas Equações 3 e 4. Θ, B G H = { 360 Θ, B > G 1 (R Θ = cos 1 ( 2 G) + (R B) (R G) 2 + (R B)(G B) ) S = 1 3 (min(r, G, B)) (R + G + B) I = 1 (R + G + B) 3 Equação 3- Transformação de RGB para HSI R = I (1 + S cos(h) cos (60 H) ) G = 1 (R + B) B = I(1 S) Equação 4 - Transformação de HSI para RGB Operações Morfológicas Um dos grandes problemas em processamento e análise de imagens refere-se à extração das componentes de interesse contidas na cena original. Os conceitos de processamento de imagens mais utilizados no trabalho foram as operações morfológicas. Basicamente a morfologia matemática consiste em extrair as informações relativo às características de uma imagem e compará-la com um outro conjunto menor e de forma já conhecida. Chamamos esse outro conjunto de elemento estruturante. Logo, sua base consiste na teoria dos conjuntos como visto em (JÄHNE, 1991). As aplicações podem ser utilizadas com objetivos distintos nas várias técnicas para análise de imagem, como segmentação e reconhecimento de bordas, por exemplo. Tais técnicas foram muito utilizadas nesse projeto. A seguir iremos detalhar algumas operações morfológicas importantes e utilizadas nesse trabalho.

35 Fundamentação Teórica Erosão Erosão é uma das operações básicas da morfologia matemática. Inicialmente foi definida para operações com imagens binárias. Porém atualmente sua utilização já foi estendida para imagens em tons de cinzas (GONZALES; RICHARD, 2000). Sejam A e B conjuntos no espaço Z².A erosão de A por B, denotada A θ B, é definida como: AΘB = {x (B) x A; A, B Z²} Equação 5 - Erosão de A por B Podemos dizer que a erosão de A por B resulta no conjunto de pontos x tais que B, transladado de x, está contido em A Dilatação A operação de dilatação, segundo (FILHO; NETO, 1999) também as vezes chamada de dilação, é uma transformação morfológica que combina dois conjuntos usando adição vetorial. Seu símbolo é. Como o nome diz, o resultado será uma imagem engordada. Geralmente utiliza-se um elemento estruturante para aprofundar e expandir as formas contidas em uma imagem. Utilizando um elemento estruturante onde todos os valores são positivos para efetuar uma dilatação numa imagem em níveis de cinza, obtém-se como imagem resultante uma imagem com detalhes escuros atenuados e detalhes claros acentuados. A operação de dilatação em tons de cinza fornece como saída uma imagem com as mesmas dimensões da imagem de entrada e pixels com valores de 0 a 255, para o caso de uma imagem original com 256 níveis de cinza. Matematicamente, podemos definir a operação de dilatação da seguinte forma: A B = {x (B ) x A ; A, B Z²} Equação 6 - Dilatação de A por B Onde A e B são conjuntos no espaço Z², por exemplo e seja o conjunto vazio.

36 Fundamentação Teórica Limiarização Limiarização, ou thresholding, é um processo que se baseia na diferença dos níveis de cinza que compõe diferentes objetos de uma imagem. Escolhe-se um número (limiar) que servirá de base para definir dois grupos: o grupo de pixels com níveis de cinza abaixo do limiar e o grupo de pixels com níveis de cinza acima do limiar. Em uma imagem limiarizada, atribui-se um valor fixo para todos os pixels de mesmo grupo (FILHO; NETO, 1999). Matematicamente, a operação de limiarização pode ser descrita como uma técnica de processamento de imagens na qual uma imagem de entrada f(x,y) de N níveis de cinza produz à saída uma imagem g(x,y), chamada de imagem limiarizada, cujo número de níveis de cinza é menor que N. Normalmente, g(x,y) apresenta 2 níveis de cinza, sendo: g(x, y) = 1 se f(x, y) T { g(x, y) = 0 se f(x, y) T Equação 7 - Condição de Limiarização No qual os pixels rotulados com 1 correspondem aos objetos e os pixels rotulados com 0 correspondem ao fundo (background) e T é um valor de tom de cinza pré-definido, ao qual denominamos limiar. Para este exemplo de limiarização dá-se o nome de binarização. Na Figura 17 vemos um exemplo de uma imagem original em escala de cinza (a) e seu histograma (b) e logo abaixo sua imagem binarizada (c) com um limiar indicado em (d).

37 Fundamentação Teórica 24 Figura 17 - Exemplo de Binarização (GONZALES; RICHARD, 2000) Região de Interesse Para medir um parâmetro dentro de uma imagem, o sistema de processamento precisa distinguir as áreas de interesse. Esta "região de interesse" ou ROI pode ser determinada com base em valores da intensidade do pixel ou uma área determinada pelo usuário (Thresholding and the Region of Interest, 2014) Segmentação O processo de separação da região de interesse em uma imagem é chamado de segmentação. Uma forma simples de segmentação é considerar um intervalo de valores da intensidade do pixel, para identificação de objetos de interesse em uma imagem. Há outras formas mais sofisticadas de identificação. Quando dividimos uma imagem digital em várias regiões com o objetivo de simplificar sua análise estamos utilizando as técnicas de segmentação de imagens. Com as técnicas de segmentação é possível localizar objetos de interesse e formas em uma determinada imagem (BRUCE; BALCH; VELOSO, 2000).

38 Fundamentação Teórica 25 Atualmente várias técnicas e algoritmos de segmentação já foram desenvolvidos porém não há uma solução definitiva e geral para resolução dos problemas. Na maioria das vezes é necessária uma combinação das técnicas existentes para solução de um determinado problema. Dentre os tipos de segmentação podemos abordar as baseadas em formatos que têm como o objetivo a detecção de pontos, linhas ou bordas por exemplo. As baseadas em características dos pixels que estão em análise na imagem, baseando-se em suas cores e suas intensidades e por fim a segmentação baseada no histograma de uma imagem. Sua aplicação ocorre nas mais diversas áreas, como: no sistema de reconhecimento de faces, análise de imagens médicas (JÄHNE, 1991) para detecção de tumores, volumes de tecidos, estruturas anatômicas e por fim, nos sistemas de visão computacional voltados para robótica como utilizado nesse trabalho Descritores de Forma Depois que a imagem foi segmentada em regiões, os pixels agrupados são geralmente representado e descritos em formatos apropriados para o processamento das informações. No qual, de uma maneira simples, podemos representar esta região em termos de suas características externas (sua fronteira), ou em termos de características internas (os pixels que compõem a região) (BASSO, 2002). Geralmente, uma representação externa é escolhida quando o que interessa estiver voltado para características de forma e na representação interna quando for voltada para propriedades como cor ou textura. Os descritores de formas são métodos matemáticos que representam a forma da região ou objeto segmentado, onde idealmente devem possuir invariância a rotação, ponto de início, translação e escala (SILVA et al., 2007) Momentos A forma dos segmentos da fronteira pode ser descritas quantitativamente através dos momentos. Segundo (SOUZA; PISTORI, 2005) um dos métodos utilizados para a extração das características da imagem são os momentos da imagem, ou momentos estatísticos.

39 Fundamentação Teórica 26 Esses momentos e suas funções podem ser caracterizados como valores numéricos, calculados a partir de uma imagem previamente segmentada e são utilizados para fornecer descrições resumidas da distribuição espacial dos pontos contidos na imagem bidimensionais analisada. Esses momentos de ordem p + q sobre uma função contínua 2D, de acordo com (HU, 1962) são calculados de acordo com a Equação M pq = x p y q I(x, y)dxdy Equação 8 - Momentos de ordem p+q Em (SOUZA; PISTORI, 2005) também fala que uma imagem pode ser visualizada como uma função de duas dimensões discreta F, onde a intensidade de cada pixel é indexada como F(x,y). A Equação 9, como demonstrado em (HU, 1962) é a derivação da Equação 8 de momentos aplicados a imagens, visto que quando estamos trabalhando com imagens digitais, as integrais são substituídas por somatórios. largura altura M pq = x p y q I(x, y) x=1 y=1 Equação 9 - Momentos aplicados a imagens Em (SILVA et al., 2007) podemos ver que para representar objetos através de momentos, são considerados apenas os pixels pertencentes ao objeto. Através dos momentos é possível achar propriedades interessantes, como por exemplo o centro de massa x e y representados pelos momentos M 10 M 00 e M 01 M 00, onde M 00 é o momento que representa a área do objeto. É possível derivar também os momentos centrais para imagens definidos pela Equação 10. largura altura M pq = (x x ) p (y y ) q I(x, y) x=1 y=1 Equação 10 - Momentos centrais

40 Fundamentação Teórica 27 Onde a partir deste momento central, podemos achar propriedades derivadas como variância em X e Y e a direção do objeto com as fórmulas 11 e 12 (HU, 1962). σ x 2 = u 20 m 00, σ y 2 = u 02 m 00 Equação 11 - Variância em X e Y tan θ = (u 02 u 20 2u 11 + λ) (u 02 u u 11 λ) Equação 12 - Direção do Objeto Embora os momentos sejam o método mais popular, eles não são os únicos descritores que podem ser usados com esse propósito. Por exemplo, um outro método consiste no cálculo da transformada de Fourier unidimensional, obtendo seu espectro e utilização de seus primeiros componentes para a descrição da função. A vantagem dos momentos em relação a outras técnicas é que sua implementação é direta, além de eles carregarem uma interpretação física da fronteira de uma forma e suas características serem invariantes à escala, à posição e à orientação (HU, 1962) Ferramentas Encontramos bibliotecas e projetos que ajudaram a entender os conceitos e aplicações do trabalho, como por exemplo o SSL-Vision, o Find-Object e a biblioteca OpenCV. A primeira plataforma encontrada para o estudo da visão computacional voltada para o projeto foi a SSL-Vision. O motivo da escolha dessa plataforma para o inicio da pesquisa deve-se ao fato da mesma ser atualmente o sistema de captura de vídeo oficial da Robocup categoria SSL (FIRA, 2014) SSL-Vision Em meados de 2009 o comitê organizador da Robocup decidiu criar um sistema de visão compartilhada para uso de todas as equipes. Esse sistema não só compartilha o software mas também permite que as duas equipes utilizem o mesmo hardware (câmeras acopladas no

41 Fundamentação Teórica 28 suporte acima do campo). Dessa forma é criado um ambiente padrão para realização da competição por diversas equipes como visto na Figura 18 (About the Small Size League, 2008) (ZICKLER et al., 2010). Figura 18 - Tela do SSL-Vision (SSL VISION, 2010) Todas as pesquisas do estado da arte demonstraram resultados satisfatórios dessa plataforma (KAICK et al., 2001) (MARTINEZ-GOMEZ; WEITZENFELD, 2004) (MARTINS; TONIDANDEL; BIANCHI, 2006) (SOUSA; PINTO; PINTO, 2010) (GRITTANI; G.GALLINELLI; RAMŕEZ, 2000) onde mesmo sendo padrão, o ambiente permite que cada equipe desenvolva sua própria estratégia, focando apenas no desenvolvimento dos algoritmos sem se preocupar com interface gráfica e outros requisitos que são essenciais como calibração, comunicação, captura das imagens das duas câmeras e definição de parâmetros. Porém como dito anteriormente, para padronizar os recursos utilizados por todas as equipes da categoria Small Size, as regras definem o tipo de hardware utilizado pelas equipes para o desenvolvimento de sua estratégia. Como um dos objetivos do trabalho é ser de baixo custo, não foi possível utilizar o padrão de câmera e conectores especificado nas regras da categoria. É necessário para completa utilização desse projeto câmeras do tipo IEEE 1394 / DCAM com placas de captura com conexão Firewire para obtenção de uma maior largura de banda. Através de pesquisas de mercado foi identificado o investimento necessário conforme a Tabela 1.

42 Fundamentação Teórica 29 Equipamento Valor Guppy F-046.A 1/2" CCD Color R$ 2.232,50 Placa Captura Firewire Ieee 1394a R$ 139,99 Cabos Firewire Ieee 1394 R$ 22,99 Total R$ 2.395,48 Tabela 1 - Preço dos Equipamentos Como observado na Tabela 1, o investimento médio para a ter todos os equipamentos necessários para a aquisição das imagens do campo é de R$ 2.395,48, tornando uma das partes mais caras do projeto de uma equipe. Dessa forma cancelamos os testes com o SSL- Vision e iniciamos uma nova pesquisa focada em uma implementação completa, simples e eficiente que possa ser utilizada em um ambiente de captura controlado e com baixo investimento em recursos computacionais. O novo foco se tornou a procura de uma biblioteca que aceitasse comunicações USB para utilização de uma webcam. Contudo, vale ressaltar que toda a parte de aquisição e calibração das imagens já estão implementadas na plataforma, sendo necessário apenas codificar a parte de processamento de imagens se quiser um melhor desempenho com alguma técnica específica Find-Object Na procura por novas soluções para o problema encontramos o projeto Find-Object que são implementações de técnicas de processamento de imagens no OpenCV como SIFT, SURF, FAST, BRIEF voltadas para reconhecimento de objetos como visto na Figura 19.

43 Fundamentação Teórica 30 Figura 19 - Tela do Projeto Find-Object (FIND-OBJECT, 2012) Como o projeto é um projeto aberto (LABBÉ, 2012), estudamos o seu código e avaliamos a viabilidade do projeto e das técnicas que utilizam algoritmos de aprendizagem de máquina e redes neurais. Após alguns testes identificamos que o projeto atende as expectativas com relação a identificação de objetos em imagens, porém não atende a um dos principais requisitos necessário nas implementações voltadas para o futebol de robôs: o tempo de processamento. Além da preocupação com a precisão e tolerância à variação de luminosidade no campo, o tempo de processamento é uma dos requisitos fundamentais para o sucesso do projeto. Como o projeto não conseguiu atender as necessidades de um sistema em tempo real, resolvemos utilizar a ferramenta de visão computacional que ele utilizava para implementar os algoritmos de forma mais eficiente e específica OpenCV O OpenCV é uma biblioteca multiplataforma desenvolvida pela Intel, disponibilizando o uso do seu código para utilizar em aplicações tanto comerciais como acadêmicas. Ele possui módulos de álgebra linear, processamento de imagens e vídeo, interface gráfica do usuário, estrutura de dados, controle de mouse e teclado, além de mais de 350 algoritmos de visão computacional como: calibração de câmera, filtros de imagem, análise estrutural, reconhecimento de objetos, processamento em tempo real de imagens e outros (BRADSKI; KAUHLER, 2013).

44 Fundamentação Teórica 31 As áreas de aplicações desta biblioteca são muito amplas, alguns exemplos são as áreas de sistemas de reconhecimento facial, como mostrado na Figura 20, realidade virtual, identificação de objetos, gravação de vídeos, interface homem-máquina e reconhecimento de movimentos. Figura 20 - Exemplo de detecção de faces com OpenCV (PYFACEDETECT, 2010) Ela foi desenvolvida nas linguagens C/C++ mas tem suporte para as linguagens Python, Java e Visual Basic onde foi estruturada em módulos, no qual segundo (INTEL, 2000) os módulos principais são: a) core - um módulo compacto que define as estruturas de dados básicas, incluindo a matriz multi-dimensional Mat e funções básicas usado por todos os outros módulos. b) imgproc - um módulo de processamento de imagem, que inclui filtragem de imagens linear e não-linear, transformações geométricas de imagem, conversão de espaço de cores, histogramas, e assim por diante. c) video - um módulo de análise de vídeo que inclui estimativa de movimento, subtração de imagens e algoritmos de rastreamento de objetos. d) calib3d - algoritmos básicos de calibração de câmera única e estereoscópica, estimativa de objetos e elementos da reconstrução 3D. e) features2d - detectores de características salientes, descritores e

45 Fundamentação Teórica 32 identificadores de descritores. f) objdetect - detecção de objetos e instâncias de classes predefinidas, como por exemplo: faces, olhos, canecas, pessoas, carros e etc. g) highgui - uma interface simples de usar de captura de vídeo, imagem e codecs de vídeo com possibilidade de fazer simples interfaces gráficas como janelas, botões e barras de rolagem. h) gpu - algoritmos com aceleração de GPU (unidade de processamento gráfico) de diferentes módulos do OpenCV. Tanto o SSL-Vision quanto o Find-Object são projetos que utilizam algoritmos do OpenCV. Os motivos principais para utilização da biblioteca no nosso projeto são os vários algoritmos de visão computacional e sua capacidade de realizar processamento de imagens em tempo real IDEs Primeiro, foi instalado o OpenCV na máquina virtual com o sistema operacional Ubuntu instalado como mostrado no Apêndice 1. Depois de testarmos um exemplo pelo terminal, configuramos uma IDE para trabalhar. Como não conseguimos utilizar os projeto citado anteriormente, começamos a desenvolver uma aplicação que conseguisse identificar e rastrear os robôs e a bola em campo. Utilizamos o Git 4 e o Meld 5 para fazer o controle de versão e gerenciar as mudanças que ocorreram durante o desenvolvimento no projeto e o Qt Studio como ambiente de desenvolvimento como mostrado no Apêndice 2. Depois que configuramos todo o ambiente e começarmos a desenvolver, tivemos vários problemas com compatibilidade de drivers com a máquina virtual e a camera que foram solucionados e documentado no Apêndice 4. De modo geral, o desenvolvimento do projeto teve quatro fases: captura da imagem, calibração, processamento e exibição das informações na tela. 4 Git Meld -

46 Metodologia Metodologia Um módulo de visão computacional aplicado ao futebol de robôs pode ser decomposto em algumas partes: transformação do espaço de cores, classificação de cores, segmentação e localização de objetos. Uma vez que a câmera de vídeo forneça imagens do campo no formato RGB, uma transformação para o espaço de cores HSV é necessária, onde a matiz de cada cor independe da luminosidade existente, tornado o sistema mais robusto a variações da mesma. Como o formato HSV fornece um número muito grande de cores diferentes, é preciso alguma forma de classificação das mesmas para o ambiente de futebol de robôs, fazendo com que todos os pontos que formam a imagem pertençam a um conjunto limitado de cores diferentes, chamadas de classes de cores. Isto é feito a partir de uma calibração, definindo intervalos de tons para cada classe. Com esta classificação o processo de segmentação torna-se mais simples de ser realizado, tendo como objetivo encontrar manchas (conjunto de pontos adjacentes) de cada classe de cores Captura da Imagem Para fazer a parte de captura, teríamos que ter uma imagem dos robôs e da bola, mas como a proposta do trabalho não é o desenvolvimento dos robôs foram impressos, cículos grandes que representariam os robôs e circulos menores para representações dos marcadores. Era necessário colocar a câmera em uma posição que fosse a mais próxima possível de como seria em uma competição de verdade como é possível ver na Figura 21. Foi colocada inicialmente no teto mas descobriu-se ao capturar as imagens que havia pouca iluminação do ambiente e que a câmera estava com defeito pois ficava com muita variação no brilho.

47 Metodologia 34 Figura 21 - Câmera na posição vertical (AUTORES, 2014) A posição da câmera e do campo foi trocada para tentar ter a menor interferência possível das sombras e ter mais iluminação. Após vários testes foi analizado que um bom local seria a parede, porém havia ainda muito ruído na imagem por causa da reflexão da luz nos marcadores de papel que refletiam a luz. Trocamos o material dos marcadores e a câmera, conseguindo imagens melhores como visto na Figura 22. Figura 22 - Campo Colocado na Parede (AUTORES, 2014) Após captura da imagem, começou-se a trabalhar com o streaming de câmera, por causa do requisito do problema que tem que ser em tempo real todo o processamento.

48 Metodologia Calibração Mesmo com a imagem melhor, ainda era um problema as bordas fora do campo e qual a faixa das cores capturadas na hora em que realizava as binarizações, portanto foi fundamental a calibração da câmera no ambiente. Para isto seguimos o fluxo da Figura 23: Figura 23 - Passos para a calibração da câmera (AUTORES, 2014) Para tirar os ruídos ditos anteriormente utilizamos a técnica de região de interesse para apenas analisar a área do campo de futebol. Para facilitar a definição dos dois pontos da diagonal principal da região de interesse foi feito o tratamento de evento do mouse na janela e para facilitar a identificação da região, foram invertidos os valores das componentes RGB de cada pixel, negativando a área como visto na Figura 24. Figura 24 - Definição da Região de Interesse (AUTORES, 2014) Depois de selecionada a área onde será processada as informações, o passo seguinte da metodologia foi ver qual o valor do raio e das áreas mínimas de cada objeto em cena. Para conseguir esses parâmetros, foi utilizado o método dos momentos para saber a media das áreas dos robôs e da bola.

49 Metodologia 36 Definidos esses parâmetros, deve-se configurar os limites das cores dos marcadores. Para isto foi criado uma janela com as barras de saturação, da matiz e do brilho onde observou-se qual era o melhor valor para cada cor, pois a regra da RoboCup exige que alguns marcadores sejam sorteados minutos antes das partidas. Assim, a calibração só pode ocorrer depois que os marcadores tenham sido sorteados pelo juís da partida. O melhor resultado seria os valores de HSV que filtrariam apenas a cor selecionada como na Figura 25 que foi filtrada apenas a cor laranja. Figura 25 - Calibração das cores dos marcadores (AUTORES, 2014) Após calibração de todas as cores, coloca-se na biblioteca de parâmetros a quantidade de robôs de cada equipe, quantos marcadores serão utilizados e quais as cores de cada tipo de robô. Foi implementado um padrão de identificação com cinco marcadores, atribuindo a classe do robô um vetor de marcadores com cinco elementos, que seria mais que suficiente para a identificação e rastreamento de cada robô, visto que apenas com dois já é possível ter o mesmo resultado e com menos processamento, porém com esta configuração pode-se testar os limites da abordagem proposta.

50 Metodologia Processamento Depois do sistema ser calibrado, pode-se fazer o processamento da região de interesse e fazer a identificação dos robôs e da bola em tempo real. O fluxograma visto na Figura 26, demonstra o processo. Figura 26 - Fluxograma do processamento (AUTORES, 2014) Após a captura do frame, que é a imagem capturada do vídeo, e a filtragem da região, para a identificação dos objetos utilizou-se operações morfológicas e técnicas de processamento de imagem abordadas na fundamentação teórica, mas para isto foi seguido os seguintes passos: 1. Transformar o frame de RGB para HSV 2. Limiarizar pela cor para filtrar os robôs ou a bola 3. Erodir e dilatatar o frame para tirar os ruídos 4. Encontrar os contornos dos objetos filtrados com os conceitos de vizinhança e conectividade, analizar os pontos que são vizinhos e armazenar seu centro em um vetor 5. Utilizar o método dos momentos para a identificação se o contorno é um objeto 6. Armazenar as coordenadas do centro do objeto 7. Identificar se é bola ou robô e qual o tipo de robô 1. Pegar o ROI do objeto que será identificado 2. Repetir do passo 2 até o 6 para todos os marcadores