VISÃO COMPUTACIONAL Danilo de Milano Luciano Barrozo Honorato UNICAMP Universidade Estadual de Campinas FT Faculdade de Tecnologia Rua Paschoal Marmo, 1888 - Jardim Nova Itália - CEP: 13484-370 - Limeira/SP E-mail: ceset@ceset.unicamp.br - Telefone: (19) 3404-7139 Resumo Este artigo tem por objetivo apresentar uma introdução sobre Visão Computacional de forma clara e objetiva. Serão apresentados alguns aspectos gerais, além de aplicações e técnicas utilizadas, dando destaque ao rastreamento de olhar. Abstract This article aims to introduce in a clear and objective way the general aspects of Computer Vision. Some techniques and applications commonly used are introduced and it's given special attention to the field of eye tracking. Palavras-Chaves Inteligência Artificial, Visão Computacional, Rastreamento de olhar 1. Introdução 1.1 O que é Visão Computacional? Visão computacional é a ciência responsável pela visão de uma máquina, pela forma como um computador enxerga o meio à sua volta, extraindo informações significativas a partir de imagens capturadas por câmeras de vídeo, sensores, scanners, entre outros dispositivos. Estas informações permitem reconhecer, manipular e pensar sobre os objetos que compõem uma imagem [1]. Podemos considerar visão computacional como uma ciência muito recente. Uma das primeiras menções sobre visão computacional data de 1955, onde Selfridge destacou...eyes and ears for the computer [2]. Por volta da década de 70 iniciaram-se os primeiros trabalhos de Visão Computacional aliada a Inteligência Artificial. Na época acreditava-se que em pouco tempo seria possível representar o sentido da visão de 1 forma completa em uma máquina. Entre os estudos realizados, destacam-se The Psychology of Computer Vision [3], e A framework for representing knowledge [4], ambos de 1975. Com o desenvolvimento de novas pesquisas nas décadas subseqüentes, verificou-se uma complexidade muito maior do que imaginado inicialmente, principalmente pela falta de informações e de modelos que representassem a forma como as imagens são interpretadas no cérebro humano. O olho humano consegue perceber e interpretar objetos em uma imagem de forma muito rápida. Isso acontece no cortex visual do cérebro, uma das partes mais complexas no sistema de processamento do cérebro. Alguns cientistas concentram seus estudos na tentativa de entender o funcionamento dessa parte do cérebro, para então trazer tais idéias para a visão computacional. É o que pesquisadores do MIT definem como "ensinar computadores a enxergarem como humano" [5]. Dessa forma, a visão computacional fornece ao computador uma infinidade de informações precisas a partir de imagens e vídeos, de forma que o computador consiga executar tarefas inteligentes, simulando e aproximando-se da inteligência humana.
2. Organização de um Sistema de Visão Computacional As aplicações que utilizam visão computacional são, em sua maioria, provindas de outras áreas de pesquisa, resolvendo problemas particulares de forma específica. Tais sistemas são conhecidos como sistemas especialistas, que necessitam de conhecimento específico para a solução de um determinado problema. Dessa forma, não existe um modelo padrão bem definido para implementação de aplicações que utilizam visão computacional. Porém, basicamente todos os sistemas de visão computacional envolvem reconhecimento de objetos em imagens e transformações destes objetos em informações que serão processadas e utilizadas por algum sistema especialista. A seguir são apresentados algumas das funcionalidades comuns na maioria dos sistemas de visão computacional, conforme indicado por Rehem e Trindade [6]: Aquisição de Imagem: É o primeiro passo para um sistema de visão computacional. Trata-se do processo de aquisição de uma imagem ou de um conjunto de imagens a partir de sensores de cameras, onde os pixels de cada imagem obtida indicam coordenadas de luz e propriedades físicas. A imagem pode ser bidimensional, tridimensional ou uma sequência de imagens. Pré-processamento: Processo realizado antes de obter informações de uma imagem, de forma a aplicar métodos específicos que facilitem a identificação de um objeto, como por exemplo destaque de contornos, bordas, destaque de figuras geométricas, etc. Extração de características: Extração de características matemáticas que compõem uma imagem, como textura, bordas, formatos, movimento. Detecção e segmentação: Processo realizado para destacar regiões relevantes da imagem, segmentado-as para processamento posterior. Processamento de alto nível: Processo que inclui validação da satisfação dos dados obtidos, estimativa de parâmetros sobre a imagem e classificação dos objetos obtidos em diferentes categorias. Com uma organização semelhante, e uma base de conhecimentos muito grande é que é possível Sistemas de Recuperação de Imagens com Base no Conteúdo (RIBC). Estes permitem buscas de imagens com base em atributos como cores, formas ou texturas. É o caso, por exemplo, do site do Museu Hermitage [7], de São Petersburgo, que permite consulta virtual às obras do acervo, através das seguintes buscas: Busca por exemplo: uma imagem de exemplo é fornecida como base para a busca Busca por distribuição de cores: é fornecido como parâmetro a distribuição de cores esperada Busca por formas: a forma esperada é fornecida 3. Técnicas de Visão Computacional para Rastreamento de Olhar em Vídeos. 3.1. Detecção do olho Uma das áreas mais recentes que despertam estudos em visão computacional é o rastreamento (tracking) de objetos. O rastreamento é a técnica utilizada para detectar um objeto no plano da imagem enquanto este se move durante uma cena [8]. O rastreamento do movimento humano permite por exemplo uma maior interação homem-computador (IHC). Para o rastreamento é necessário detectar como o objeto em análise será representado, quais as características que servirão de parâmetros para o rastreamento e qual a estratégia utilizada para o rastreamento [9]. Yilmaz[8] apresenta as formas de representação que são mais utilizadas, como pontos, formas geométricas, silhueta e contorno do objeto, modelos de forma articulada e modelos de esqueleto. Como o rastreamento por pontos analisa o estado anterior, esta técnica apresenta falsas detecções, quando o objeto rastreado tem muita entrada e saída da cena. Outra técnica utilizada é o rastreamento por kernel, onde dado um modelo geométrico ou um template é analisado o movimento de kernel desse objeto nos quadros consecutivos, sendo esse movimento por exemplo uma translação ou rotação do objeto. Já o rastreamento por silhueta ou contorno permite que objetos de formas complexas possam ser detectados por meio de correspondência de formas ou evolução de contorno. Entre as diversas pesquisas de rastreamento existentes, damos destaque ao rastreamento de olhar, conhecido como eye tracking, que consiste no processo de acompanhar o olho de uma pessoa e detectar para onde ela está olhando. Dessa forma seria possível por exemplo controlar o cursor do mouse através do olho, 2
um avanço em termos de usabilidade e acessibilidade. O processo de rastreamento do olhar pode ser dividido em detecção ativa (active eye detection) e detecção passiva (passive eye detection). 3.2. Detecção Ativa O método de detecção ativa é utilizado em diversos tipos de aplicações, como robótica, sistemas militares, sistemas médicos, entre outros. Ele tem como premissa ser simples e eficiente e possuir robustez e confiabilidade para executar os processos. Dentre as técnicas de detecção ativa temos a detecção de piscadas de olhos e a utilização de iluminação infravermelha intermitente. Estas técnicas são frequentemente utilizadas na detecção de olhos a partir de vídeo. A detecção de olhos através de piscadas é realizada a partir da busca de padrões temporais que surgem nas imagens resultantes da subtração de quadros consecutivos em uma sequência de vídeo (Leite 2008, apud G. R. Bradski, A. Kaehler, and V. Pisarevsky - 2002). A detecção de olhos com iluminação infravermelha é realizada a partir da incidência de um feixe de luz sobre os olhos. A córnea reflete a luz, produzindo o efeito conhecido como olhos vermelhos, muito comum em fotos produzidas com o uso de flash. Este fenômemo produz pupilas com alto brilho em imagens em níveis de cinza. A posição dos olhos é determinada através destas regiões de alto brilho (Leite 2008, apud D. H. Yoo and M. J. Chung - 2005). Figura 1 Retro-Reflexão [5] A partir da emissão de um ponto pontual de luz fora do eixo óptico da câmera, é possível presenciar outro evento, denominado Glint. O Glint é um ponto de reflexão sobre a córnea, com alto destaque visual numa imagem, o que facilita o rastreamento do olhar [5]. 3 3.3. Detecção Passiva Figura 2 Glint [5] A detecção passiva é baseada em fontes naturais de sinal, como por exemplo luz visível ou outros comprimentos de onda eletromagnéticos, não sendo necessário a integração de dispositivos no vestuário, com exceção da utilização de marcadores que são colocados no sujeito de forma a facilitar a captura de movimento (Pinho, et al. - 2004, apud Moeslund, 2001). A detecção passiva normalmente é utilizada em imagens estáticas. Os métodos passivos podem ser subdivididos em 3 categorias, conforme o tipo de estratégia utilizada: análise da aparência, aprendizagem; e modelos (Leite -2008, apud Wechsler et. al - 2005) No método baseado na análise da aparência, características como cor, textura e formas presentes na imagem são sempre levadas em conta. Na maioria dos casos, a detecção dos olhos baseado na analise da aparência não requer tantos recursos computacionais, devido à não necessidade de cálculos complexos. Isso ocorre devido a área de busca ser relativamente pequena, sem contar a pouca variação de cores e nuances. Contudo essa técnica torna-se insuficiente quando é feita uma análise baseada na cor da pele, afinal existem no mundo inúmeras etnias e raças. No método baseado em aprendizagem, um conjunto de imagens de exemplos e contra exemplos são utilizados para treinamento de um classificador. Os sistemas que utilizam este tipo de abordagem usualmente diferem nas características usadas para treinamento, nas técnicas empregadas para extração destas características a partir das imagens e no tipo de classificador adotado, como por exemplo: Redes Neurais, Modelos Escondidos de Markov (Hidden Markov Models - HMM), Máquinas de Vetores de Suporte (Support Vector Machi- 7 nes - SVM), entre outros. Os olhos correspondem às regiões da imagem que produzem uma resposta positiva do classificador. Esta abordagem pode apresentar invariância a rotações, mudanças de escala e iluminação, através da geração sintética de exemplos e contra exemplos para utilização no treinamento. A dificuldade deste procedimento se encontra na falta de critérios específicos para geração de contra exemplos em imagens genéricas (Leite -2008, apud F. H. C. Tivive and A. Bouzerdoum - 2005 ).
A Detecção baseada em modelos visa minimizar uma função de energia, obtida através da junção de um dado modelo com uma imagem. O padrão geralmente é composto por um círculo e duas curvas parabólicas, modelando assim o aspecto de um olho. A diferença básica nos métodos que utilizam essa técnica está na forma de se encontrar a localização inicial de um padrão. Na busca pelos olhos, o modelo é deslocado de acordo com um processo de minimização de uma função de energia. O deslocamento do modelo permite a detecção até mesmo de olhos rotacionados e apresenta tolerância a variações de abertura dos olhos. Algumas desvantagens do uso desta abordagem são as dificuldades para encontrar os pontos iniciais para encaixe do modelo e o alto custo computacional. (Leite -2008, apud F. H. C. Tivive and A. Bouzerdoum - 2005 ). (a) Eletrodos: eletrodos são colocados em volta do olho do usuário, captando movimentos do olho detectados entre a córnea e a retina. A vantagem do método é que ele é bem preciso. Porém, ele só pode ser executado em laboratório, impedindo a propagação da tecnologia para um usuário comum, e necessita que o rosto esteja parado, não rastreando com precisão caso haja movimentos da cabeça, além de ser invasivo. A figura 4 mostra como funciona o método de rastreamento por meio de eletrodos. Figura 4 Método do Eletrodo [5] Figura 3 Método do Modelo Deformável [5] 4. Rastreamento do Olhar Como a maioria das aplicações que utilizam visão computacional, inicialmente é necessário executar uma calibração no sistema, de forma a parametrizar características, como distância, cores, luz, etc. Para o rastreamento do olhar, a distancia em que o usuário está olhando para um dado monitor deve ser estimada a partir da direção do olhar, considerando que o monitor esteja parado. Essa distância pode ser analisada a partir da posição de apenas um olho, considerando que ambos os olhos estejam no mesmo foco e que não seja necessário a percepção de profundidade. 4.1. Métodos Alguns métodos surgiram para o rastreamento da direção do olhar de uma pessoa. Entre eles Rehem e Trindade [6] destacam Eletrodos, Lentes de Contato e Processamento de Imagens. (b) Lentes de Contato: lentes de contato são inseridos no olho do usuário, de forma a rastrear o movimento do olho. Apesar de ser bem preciso e captar bem o movimento do olho, o método é muito invasivo, gerando incômodos como coceira e piscar excessivo do olho. (c) Processamento de Imagens: Métodos de detecção ativa e passiva, descritos na seção anterior. 5. Aplicações Aplicações que utilizam visão computacional podem ser encontradas em diversas áreas, como física, biologia, indústria, forças armadas, entre outras. Como ilustração podemos citar: detecção de terroristas em aeroportos, através de reconhecimento de face (biometria), detecção de unidades inimigas ou mísseis teleguiados em aplicações militares, análise morfológica de células, montadoras de veículos, posicionamento de braços de robôs em reparos de submarinos e futebol de robôs. Quanto a área de reconhecimento de imagens, aplicações baseadas em futebol de robôs sempre ganham destaque, devido a possibilidade de realização de experimentos reais para o desenvolvimento e testes de robôs [10]. Algoritmos são criados tendo a necessidade de localizar e detectar elementos do mesmo time de forma precisa e em tempo real, além do campo, da bola e dos adversários, determinando e orientando o robô jogador. Estes algoritmos devem sempre considerar atenção especial quanto às cores dos objetos, influenciada pela iluminação do campo, que 4
nem sempre é uniforme. Com a atual preocupação quanto a intervenção da ação humana no ambiente e, consequentemente, sua futura existência, aplicações ligadas ao meio ambiente também se propagam. Utilizando visão computacional é possível detectar mudanças ambientais em tempo real, analisando imagens de satélites, tomando medidas de forma automática. É possível também analisar eventos específicos, como migração ou confinamento de aves em situações de estresse térmico [11], influenciadas pelo aquecimento global. Outra área que ganha muito destaque é a Medicina. Como o olho humano é limitado em relação à percepção de alguns padrões em imagens e na detecção de imagens com ruídos ou contraste muito baixo, muitas vezes interpretando-as de forma diferente, o uso de recursos computacionais pode ajudar neste reconhecimento, servindo, por exemplo, como um auxiliar no diagnóstico de algumas doenças, evitando um diagnóstico impreciso ou equivocado. Dessa forma seria uma espécie de segunda opinião para o médico, com o intuito de confirmar uma suspeita ou abrir novos horizontes à detecção de certa doença. Tais sistemas são conhecidos por Sistemas Computacionais de Apoio ao Diagnóstico (CAD), como sistemas de apoio ao diagnóstico de fraturas cranianas [12], sistemas de apoio a lesões pulmonares [13] e sistemas de apoio a mamografia. Nestes sistemas a visão computacional é utilizada para detectar anomalias, caracterizando-as e classificando-as, baseando-se num vasto conjunto de imagens e informações. Outro fato que contribui para a utilização da visão computacional é que a análise de uma radiografia torna-se mais precisa quando utilizam-se dois radiologistas para a detecção de anomalias[14]. Dessa forma, poderia ser utilizado um sistema automatizado no lugar de um dos radiologistas, fazendo uma junção do resultado para um diagnóstico mais preciso. Outra área de forte utilização é na indústria, onde a visão computacional pode ser utilizada desde o controle da qualidade de determinado produto fabricado, até em áreas mais específicas, como caracterização e classificação de minério de ferro [15]. Os sistemas de controle autônomo também ganham destaque, como por exemplo os veículos autônomos Remote Agent e o Mars Exploration Rover da Nasa [16]. Outro que ganhou notoriedade foi o sistema de visão computacional Alvinn [17], incorporado numa minivan que percorreu mais de 4500km nos Estados Unidos de forma autônoma em 98% do tempo. Há ainda o The Great Robot Race, campeonato anual de carro autônomos [18]. Figura 5 - Mars Exploration Rover [16]. 6. Conclusão Pudemos, nesse trabalho inicial, verificar que Visão Computacional em Inteligência Artificial é um campo vasto, não apenas de trabalho, mas de pesquisa, uma vez que, são várias áreas de atuação que necessitam desse tipo de aplicação, e quase nem todas têm recebido a atenção necessária, nesse caso, podemos citar os sistemas de navegação automática de veículos, cujas pesquisas ainda não atingiram um nível de maturação que os habilite no uso doméstico e comercial. Concluímos, com isso, que as possibilidades de pesquisa nessa área são muito promissoras, afinal é visível o avanço cada vez maior da tecnologia em nossas vidas. 5 7. Referências Bibliográficas [1] Ballard, Dana Harry, Computer Vision, Prentice- Hall, 1982. [2] David, E.E., Selfridge, O.G., Bell Telephone Laboratories, Murray Hill, N.J. This paper appears in: Proceedings of the IRE Issue Date: May 1962 Volume: 50 Issue:5 On page(s): 1093-1101 ISSN: 0096-8390 Digital Object Identifier: 10.1109/JRPROC.1962.288011 Date of Current Version: 22 Janeiro 2007 [3] Winston, P.H.,The Psychology of Computer Vision, McGraw Hill, 1975
[4] Minsky,Marvin, A Framework for Representing Knowledge,MIT-AI Laboratory Memo 306, 1974. [5]http://www.scientificamerican.com/article.cf m?id=visionary-research acessado em18/09/2010 [6] Rehem, Almerindo e Trindade, Fernando H. V.,Técnicas de Visão Computacional para Rastreamento de Olhar em Vídeos. Publicado em 03/02/2009. Disponível em:http://almerindo.devin.com.br/ index.php? option=com_content&view=article&id=78%3 Atecnicas-de-computacao-visual-pararastreamento-de-olhar emvideos&catid=43%3atrabalhos-dealunos&itemid=86&showall=1 acessado em 18/09/2010 [7] http://www.hermitagemuseum.org/ acessado em 18/09/2010 [8] Yilmaz, A; Javed, O; Shah, M. Object Tracking: A survey. ACM Comput. Surv. v. 38, n. 4, p.13, 2006 [9] Conti, Caroline, Gonzaga, Adilson, Rastreamento dos dedos da mão para interação humano-computador Laboratório de Visão Computacional (LAVI), Departamento de Engenharia Elétrica, Escola de Engenharia de São Carlos (EESC), Universidade de São Paulo (USP). [10] Bianchi, A.C., Reali-Costa, A.H.O Sistema de Visão Computacional do time Futepoli de futebol de. Anais do Congresso Brasileiro de Automática 2000. [11] Rodrigues, Valéria Cristina, Distribuição especial e bem-estar de aves poedeiras em condições de estresse e conforto térmico utilizando visão computacional e inteligência artificial Piracicaba 2006 [12] Eric da Silva, Saulo Araujo de Carvalho, Wagner dos Santos C. de Jesus, Alderico Rodrigues de Paula Junior Sistema Especialista de Visão Computacional para diagnóstico de Fraturas Cranianas em Imagens de Tomografia Computadorizada. Universidade do Vale do Paraíba/Instituto de Pesquisas e Desenvolvimento IP&D [13] Técnicas de Inteligência Artificial Aplicadas ao Desenvolvimento de Sistema de Apoio ao Diagnóstico de Lesões Pulmonares. Paulo Eduardo Ambrósio, Paulo M. de Azevedo-Marques, Clóvis Simão, Centro de Ciências das Imagens e Física Médica (CCIFM), Faculdade de Medicina de Ribeirão Preto (FMRP), Universidade de São Paulo (USP), Brasil Centro Universitário Barão de Mauá (CeUBM), Brasil [14] Vyborny, Carl J. and Giger, Maryellen L., Computer Vision and Artificial Intelligence in Mammography Received September 2, 1 993; accepted after revision November 1 5, 1993. American Roentgen Ray Society [15] Frick, André Dell Aglio, Caracterização de Minério de ferro por Visão, 2008 [16] http://marsrovers.jpl.nasa.gov/home/index.html acessado em 20/09/2010 [17] ALVINN: an autonomous land vehicle in a neural network Source Advances in neural information processing systems 1 book contents Pages: 305-313 Year of Publication: 1989 ISBN:1-558-60015-9 Author : Dean A. Pomerleau Publisher: Morgan Kaufmann Publishers Inc. San Francisco, CA, USA [18] http://www.pbs.org/wgbh/nova/darpa/ acessado em 18/09/2010 [19]Pinho, Raquel R., Tavares, João Manuel R.S.;Correia, Miguel V. F.P.; 2004 [20]Leite, Bruno B. Detecção de Olhos em Imagens com Faces Humanas, Universidade Federal de Campina Grande, 2008 [21]Tivive,F. H. C. and Bouzerdoum,A., A fast neuralbased eye detection system. In Proceedings of International Symposium on Intelligent Signal Processing and Communication Systems, pages 641 644, 2005. [22]Q. Ji, H. Wechsler, A. Duchowski, and M. Flickner. Editorial. Computer Vision and Image Understanding - Special Issue on Eye Detection and Tracking, 98:1 3, 2005. [23]Bianchi, Reinaldo A.C; Rillo, Ana Helena R.C., Uma Arquitetura de Controle para Sistemas Complexos de Visão Computacional. [24]Bradski;G. R.;Kaehler, A.; Pisarevsky, V.; Learning-based computer vision with intel s open source computer vision library. Intel Technology Journal - Compute-Intensive, Highly Parallel Applications and Uses, 2005. [25]T. Morris, P. Blenkhorn, and F. Zaidi. Blink 6
detection for real-time eye tracking. Journal of Network and Computer Applications, 25:129 143, 2002. [26]D. H. Yoo and M. J. Chung. A novel nonintrusive eye gaze estimation using cross-ratio under large head motion. Computer Vision and Image Understanding- Special Issue on Eye Detection and Tracking, 98:25 51, 2005. 7