UNIVERSIDADE PRESBITERIANA MACKENZIE ENGENHARIA ELÉTRICA. André Brasiliano da Silva

Transcrição

1 UNIVERSIDADE PRESBITERIANA MACKENZIE PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA André Brasiliano da Silva ROBUSTEZ EM UM SISTEMA DE DETECÇÃO E RASTREAMENTO DE OLHOS PARA IMPLEMENTAÇÃO DE UMA INTERFACE HUMANO-COMPUTADOR Dissertação apresentada ao Programa de Pós-Graduação em Engenharia Elétrica da Universidade Presbiteriana Mackenzie como parte dos requisitos para a obtenção do título de Mestre em Engenharia Elétrica. Orientadores: Maurício Marengoni e Valéria Farinazzo Martins São Paulo 2014

2 S586r Silva, André Brasiliano da Robustez em um sistema de detecção e rastreamento de olhos para implementação de uma interface humano-computador. / André Brasiliano da Silva - São Paulo, f.: il.; 30 cm. Dissertação (Programa de Pós-Graduação (Stricto Sensu) em Engenharia Elétrica) - Universidade Presbiteriana Mackenzie - São Paulo, Orientador: Prof. Dr. Mauricio Marengoni Bibliografia: f IHC. 2. Visão computacional. 3. Rastreamento da íris. 4. Extração de características. 5. Problemas motores. 6. Região de interesse. I. Título CDD:

3 RESUMO O rastreamento ocular para usuários com problemas motores é um estudo importante na área de Interface Humano-Computador (IHC). Com o objetivo de fornecer um sistema de rastreamento ocular de baixo custo, este trabalho apresenta uma nova abordagem para um sistema robusto e com alto desempenho. Com relação ao trabalho base para esta pesquisa, a implementação proposta contém inovações em todas as etapas do processo envolvendo o rastreamento ocular, desde a detecção da região da face e dos olhos até a detecção da íris. Neste trabalho, foi utilizado o conceito de processamento local, delimitando as regiões de interesse em todas as etapas do processo: detecção da região da face, região dos olhos e região da íris. Este trabalho permite que pessoas possam efetuar ações controlando o mouse através do movimento dos olhos em uma interface de rastreamento ocular, utilizando apenas equipamentos de uso comum, como, por exemplo, uma webcam. O processo de detecção da face e detecção ocular foi feito através da técnica de Viola e Jones. Para a detecção e rastreamento da íris foi utilizada a Transformada de Hough, e utilização de regiões de interesse com o objetivo de limitar a área de processamento da imagem, e consequentemente, o custo computacional, resultando em uma aplicação com um melhor desempenho e robustez em todas as etapas. Obteve-se um ganho de até 33% em relação ao tempo de processamento do sistema, quando comparado com o sistema base, porém, operando com imagens em alta definição. Foi realizada ainda uma comparação com sistemas de rastreamento ocular de uso comercial e diferentes tipos de equipamentos para validar as técnicas estudadas neste trabalho. Palavras-chave: IHC, visão computacional, rastreamento da íris, extração de características, problemas motores, região de interesse. i

4 ABSTRACT Eye tracking is an important issue for Human Computer interaction, mainly for users with hand-eye coordination problems. The work presented here shows a low cost and robust eye tracking system capable to work with an HD stream. The implementations used in this work over the base system present different techniques in all stages, from face detection to iris detection. Local processing is used in most stages in this implementation, delimiting the region of interest (ROI) for face detection, eye detection and iris detection. The system robustness allow the eye tracking system to control the mouse using eye movements allowing disable users to communicate through a communication interface. The hardware required is simple and based in an high definition webcam. The face detection and eye detection processes are based on the Viola Jones technique; iris detection and tracking are based on the Hough Transform. The usage of local processing reduces the computational cost and even working with high definition stream leads to a performance 33% better than the base system. The system presented here was compared with a commercial system and a set of equipment were tested in order to define the best set up for the eye tracking system and to validate the work presented here. Future work is presented at the end in order to allow the project continuity. Keywords: HIC, computer vision, iris tracking, feature extraction, disable users, region of interest.

5 Sumário 1 INTRODUÇÃO Objetivos e Detalhamento da Pesquisa Organização do Trabalho FUNDAMENTAÇÃO TEÓRICA Interação Humano-Computador Comunicação Alternativa Principais algoritmos para detecção e processamento da região de interesse Detecção de Objetos Transformada de Hough Modelo-Base para o estudo Detecção e Rastreamento de Olhos para Detecção de uma Interface Humano-Computador TRABALHOS CORRELATOS ITU Gaze Tracker Tobii T EAS Binocular Robustez em um Sistema de Detecção e Rastreamento Ocular MODELO PROPOSTO Descrição do Macro Fluxo Captura do frame da webcam Detecção da Região da Face Detecção da Região dos Olhos Busca pela Região da Íris Calibração do Sistema Rastreamento da Íris Movimento do Mouse Acionamento do Click do Mouse DESENVOLVIMENTO DA APLICAÇÃO Metodologia de Desenvolvimento da Aplicação Descrição do Desenvolvimento da Aplicação Análise de Requisitos Projeto Implementação Testes TESTES E DISCUSSÕES Detalhamento dos Testes Comparação entre Sistemas Comparação com o Sistema-Base Comparação com o Sistema Comercial EAS Binocular Testes com diferentes monitores Testes com diferentes usuários

6 7 CONCLUSÃO Aspectos Gerais do Trabalho Contribuições do Trabalho Trabalhos Futuros REFERÊNCIAS BIBLIOGRÁFICAS 74 ANEXOS 75

7 Lista de Figuras 1 Representação da IHC como parte da Interação Humano-Computador Layout ilustrativo do Eyegaze [30] Representação da Janela de Detecção. [16] Representação da Imagem Integral [16] Coordenadas da Transformada de Hough [33] Exemplo de detecção de círculos utilizando a Transformada de Hough, com a equação de circunferência [17] Fluxo do modelo proposto por [22] Modelo utilizado na identificação da região dos olhos [22] Modelo utilizado na identificação da região da íris [22] Sistema de rastreamento ocular [35] Interface da aplicação ITU Gaze Tracker [27] Modelos de configuração da área da pupila, configuração boa (esquerda) e configuração ruim (direita) [27] Ambiente de testes ITU Gaze Tracker [27] O potencial erro médio do Tobii T60 (círculo vermelho) e o ITU Gaze Tracker (círculo externo amarelo) ilustrado em um screenshot da página do NY Times. [27] Projeto Tobii modelo T60 [36] Produto EAS Binocular da empresa LC Technologies, Inc [30] Diagrama de Fluxo da Implementação A Diagrama de Fluxo da Implementação B Diagrama de Fluxo da Implementação C Implementação do modelo apresentado no trabalho [39] Fluxo macro do modelo proposto neste trabalho Conversão da imagem original para escala de cinza com equalização de histograma Representação da sequencia de busca de atributos na imagem Representação da utilização de atributos utilizados por [41] Estrutura que representa o detector em cascata [16] Região de interesse da face Pseudocódigo do processo de detecção da face Região de interesse do olho esquerdo Região de interesse do olho direito Pseudocódigo do processo de detecção da região do olho esquerdo Detecção da íris, apresentada por [25], utilizando a Transformada de Hough Região de interesse da íris do lado esquerdo Região de interesse da íris do lado direito Pseudocódigo do processo de detecção da região da íris Modelo de cálculo de limites das posições x,y Modelo de prototipação [44] Processo de desenvolvimento de protótipos [45] Fluxo principal do sistema Diagrama de Caso de Uso do sistema Diagrama de Sequência do sistema Diagrama de Pacotes do sistema

8 42 Diagrama de Classe do sistema Tela Inicial da aplicação desenvolvida neste trabalho Tela de calibração do sistema EyeGaze Primeira mensagem no início da calibração Segunda mensagem no início da calibração Tela de calibração da aplicação desenvolvida neste trabalho Tela de digitação de números do sistema EyeGaze Tela de digitação de números desenvolvida neste trabalho Ambiente de testes para o monitor de 15 polegadas Ambiente de testes para o monitor de 24 polegadas Ambiente de testes para o monitor de 32 polegadas

9 Lista de Tabelas 1 Desempenho dos métodos A, B e C em relação ao método proposto por [22] (tempo total) Descrição dos equipamentos utilizados Tempo para detecção da íris com relação ao método desenvolvido no trabalho [39] Tempo total (detecção da face, olhos e íris até o início da calibração do sistema) para o método do trabalho base [39] Ganho em relação ao sistema desenvolvido em [39] Comparação do processo de calibração deste trabalho com o produto EAS Binocular Comparação na digitação de um número de telefone com o produto EAS Binocular Comparação na digitação de um número sequencial com o produto EAS Binocular Descrição dos tipos de monitores Comparação do processo de calibração em diferentes monitores Comparação na digitação de um número sequencial nos diferentes monitores Comparação do processo de calibração Comparação na digitação de um número sequencial Valores detalhados do teste de calibração deste trabalho com o produto EAS Binocular Valores detalhados do teste de digitação deste trabalho com o produto EAS Binocular Valores detalhados do teste de digitação de um número sequencial deste trabalho com o produto EAS Binocular Valores detalhados do teste de calibração em diferentes monitores Valores detalhados do teste de digitação de um número sequencial em diferentes monitores Valores detalhados do teste de calibração com diferentes usuários Valores detalhados do teste de digitação de um número sequencial com diferentes usuários

10 1 INTRODUÇÃO O rápido crescimento e barateamento da tecnologia popularizou o uso de computadores por pessoas leigas em Computação, o que gerou uma demanda no desenvolvimento de sistemas que pudessem ser utilizados por pessoas sem especialização. É criada então, na década de 80, a área de Interação Humano-Computador na Ciência da Computação [1]. A Interação Humano-Computador (IHC) pode ser definida como a parte de um sistema computacional com a qual uma pessoa entra em contato físico e conceitual [2], ou seja, a interface pode ser entendida como um sistema de comunicação que possui dois componentes, um sendo o componente físico - hardware e software - em que o usuário é capaz de perceber e de interagir com o mesmo; e outro conceitual, em que ele interpreta, processa e raciocina. Assim, IHC é a área que considera todos os aspectos relacionados com a interação entre pessoas e computadores [3]. Neste contexto, foi definido, em 1981 [4], a interface de um sistema com o usuário sendo a parte de um sistema computacional com a qual a pessoa entra em contato - física, perceptiva e conceitualmente. A interface é a parte do sistema computacional com a qual o usuário se comunica, ou seja, aquela com a qual ele entra em contato para executar ações dos sistemas e obter os resultados, os quais são interpretados pelo usuário, definindo assim as próximas ações. A esse processo de comunicação entre usuário e sistema se dá o nome de interação [3]. Nos últimos anos, a área de IHC tem se desenvolvido, e esforços têm sido empregados em relação a questões de projeto e avaliação de interfaces não convencionais, tais como interfaces gestuais [5], interfaces por voz (Voice User Interface) [6] e interfaces por rastreamento ocular [7]. As interfaces por rastreamento ocular são aquelas que consistem em detectar, por meio de uma ou mais câmeras, a direção do olhar do usuário que se encontra a frente do monitor [8]. Duchowski [9] descreve, em sua pesquisa, aplicações de rastreamento ocular e sua 1

11 utilização em diversas áreas como, por exemplo, Neurociência, identificando componentes neurais, interligados à visão, a partir de fotorreceptores da retina e terminando em suas regiões corticais envolvidas na visão. Psicologia, Engenharia, Ciência da Computação, Marketing e Propaganda são outros exemplos de áreas que utilizam aplicações de rastreamento ocular citados por [9]. Interfaces por rastreamento ocular têm sido usadas, também, para permitir a inclusão de pessoas com deficiências motoras dos membros superiores [10]. Alguns produtos comerciais de rastreamento ocular possuem um alto índice de acuracidade, porém possuem um custo elevado como, por exemplo, Tobii T60 [11], um produto comercial, em que um monitor de 17 o polegadas, é integrado ao sistema de rastreamento ocular; tal equipamento contemplando as funcionalidades descritas possui um custo médio de US$30 mil. Outros produtos comerciais na área de rastreamento ocular são apresentados pela empresa SensoMotoric Instruments (SMI) [12], que desenvolve várias aplicações de rastreamento ocular, dentre elas a linha de produtos RED. Trata-se de um sistema binocular, adaptável em monitores de 19 o até 60 o, que possui uma acurácia em o (graus) de 0.4 o, trabalhando nas faixas de 60Hz até 500Hz, com custo variando entre US$20 mil até US$30 mil. Alguns procedimentos de rastreamento ocular possuem um alto custo, pois, em geral, envolvem um conjunto de equipamentos sofisticados, profissionais e de montagem complexa, tais como câmeras, detectores, óculos especiais e receptores, além de equipamentos de hardware capazes de executar o processamento em uma escala profissional. Um exemplo disso é o sistema apontado por [13], em que são exibidos diversos sistemas computadorizados de Comunicação Alternativa Facilitadora (CAF) como ImagoDiAna- Vox [14] e NoteVox [15], que se baseiam em diversos dispositivos e interfaces multimodais, e apresentam uma solução por acionamento do movimento ocular para os sistemas de comunicação alternativa. Para se projetar um sistema de rastreamento ocular, técnicas de Visão Computacional e Processamento de Imagens, tais como a técnica de detecção de objetos de Viola e Jones 2

12 [16] e a técnica da Transformada de Hough [17] para extração de características de uma imagem devem ser utilizadas. Neste contexto, vários métodos têm sido desenvolvidos para a solução desse problema, assim como para a melhora do rastreamento e da usabilidade de um sistema de rastreamento ocular. Pode-se, por exemplo, usar a detecção da íris, com uma [18] ou duas câmeras [19], para efetuar o rastreamento. Óculos detectores [20] tratam de uma outra possibilidade de fazer essa detecção, ou, ainda, a utilização de técnicas de processamento de imagens como, por exemplo, a detecção da parte branca dos olhos [21]. Desse modo, o foco principal deste trabalho é aplicar as técnicas de Processamento de Imagens em tempo real que possibilitem o desenvolvimento de uma aplicação de rastreamento ocular robusta, ou seja, que utilize imagens em alta definição sem perda de desempenho, sendo eficiente e com baixo custo financeiro e computacional. A aplicação permite que uma pessoa possa, por meio do movimento dos olhos, por exemplo, levar o ponteiro do mouse até o ponto desejado, e então efetuar uma determinada ação. Esta pesquisa iniciou-se com o trabalho proposto por [22], o qual teve como principal objetivo identificar e implementar um modelo de rastreamento ocular robusto. O modelo de rastreamento ocular proposto por [22] possui certas limitações, como, por exemplo, a utilização de imagens de baixa resolução e o processamento de toda a região da imagem para cada frame capturado, tornando o sistema pouco robusto e muito suscetível a falhas. A partir no modelo proposto por [22], foram iniciadas pesquisas baseadas em técnicas de Processamento de Imagens em tempo real e processamento apenas de regiões de interesse, garantindo um melhor desempenho, qualidade e robustez do sistema quando comparado com o modelo proposto por [22]. Para validar o modelo proposto neste trabalho, foi desenvolvido um sistema de rastreamento ocular a partir das técnicas pesquisadas e, então, realizados testes comparativos com a aplicação utilizada como base deste trabalho e, também, com aplicações de rastreamento ocular de uso comercial existente. 3

13 O projeto de desenvolvimento de uma aplicação de rastreamento ocular baseou-se no sistema de rastreamento ocular apresentado por [22], sendo desenvolvido para este trabalho um novo sistema de rastreamento ocular e, a partir daí, foi desenvolvida uma nova interface com o usuário. Assim, pode-se considerar como desenvolvimentos distintos, pois o desenvolvimento de um sistema de rastreamento ocular tem objetivo de implementar as técnicas pesquisadas neste trabalho, já o desenvolvimento de uma interface tem como objetivo a validação das técnicas implementadas, passando pela validação do usuário. 1.1 Objetivos e Detalhamento da Pesquisa O objetivo deste trabalho é identificar e desenvolver um sistema de rastreamento ocular que seja eficiente, robusto e de baixo custo. A partir do desenvolvimento da pesquisa realizada por [22], este trabalho apresenta outras técnicas das quais, partindo dos resultados apresentados, é possível avaliar a melhor técnica para cada etapa do Processamento das Imagens, como a detecção ocular, a utilização da região da face e, então, a identificação e rastreamento da íris. A realização do desenvolvimento de uma interface com o usuário, de forma que possibilitou a realização de testes comparativos, com relação a outros sistemas; testes que permitiram avaliar não só as técnicas utilizadas, mas também os pontos de melhoria na aplicação, de forma que o sistema possa ser utilizado. Para alcançar os objetivos propostos neste trabalho, foram realizadas as seguintes atividades: Pesquisa e revisão bibliográfica dos temas abordados no projeto, sendo os mesmos: região de interesse, processamento de imagens em tempo real, detecção da face, detecção dos olhos, detecção e rastreamento da íris. Estudo da biblioteca de desenvolvimento OpenCV [23] em conjunto com a ferramenta de desenvolvimento Microsoft Visual Studio. 4

14 Definição das técnicas e processos de desenvolvimento a serem utilizadas na implementação do projeto de desenvolvimento de um sistema de rastreamento ocular. Desenvolvimento de uma interface para permitir a realização de testes comparativos com outros sistemas. Testes da aplicação de rastreamento ocular desenvolvida segundo as definições propostas. Testes integrados para validação e determinação dos requisitos básicos da aplicação e testes comparativos com outros sistemas, com objetivo de validar o ambiente e as funcionalidades do projeto desenvolvido. 1.2 Organização do Trabalho Este trabalho está organizado em 5 capítulos, conforme explicitado a seguir. O Capítulo 2, Fundamentação Teórica, aborda os conceitos e métodos fundamentais utilizados para a realização deste trabalho, incluindo processamento de imagens, e detecção de objetos, conforme apresentado por [16], [24] e [25]; definições de região de interesse em uma imagem [26], rastreamento da íris [22] e controle de visada [27]. O Capítulo 4, Modelo Proposto, descreve o modelo proposto neste trabalho, detalhando cada etapa do processo e as técnicas utilizadas para o desenvolvimento da aplicação. O Capítulo 5, Desenvolvimento da Aplicação, detalha o desenvolvimento proposto da aplicação. Trata-se do desenvolvimento de uma aplicação baseada em regiões de interesse, características da face do usuário, sendo composto pelas etapas: especificação de requisitos do sistema, desenvolvimento do projeto e processo de testes. O Capítulo 6, Testes e Discussões, apresenta a criação do ambiente de testes para utilização e avaliação da aplicação desenvolvida, testes comparativos com outros sistemas de rastreamento ocular, e testes com diferentes equipamentos. O Capítulo 7, Conclusão, destaca as contribuições da pesquisa, juntamente com as limitações dos resultados obtidos, apresentando alguns pontos que podem servir de in- 5

15 dicações a trabalhos futuros. 6

16 2 FUNDAMENTAÇÃO TEÓRICA Neste capítulo, é apresentada a fundamentação teórica e também os conceitos fundamentais que constituem o embasamento teórico e técnico deste projeto. A seção 2.1 aborda a área de IHC; a seção 2.2 apresenta a base da comunicação alternativa; a seção 2.3 aborda os principais algoritmos para processamento da região de interesse, e a seção 2.4 versa sobre os projetos atuais que utilizam o conceito de rastreamento ocular e controle de visada. 2.1 Interação Humano-Computador Com o rápido avanço da tecnologia, quase todas as pessoas têm contato com sistemas computacionais de uma forma ou de outra. Isso tem aumentado o espectro dos usuários, pois não se restringem mais aos técnicos em Eletrônica ou Informática, mas incluem também pessoas de qualquer área do conhecimento ou que tenham variados graus de conhecimento da tecnologia. O principal desafio da área de IHC consiste em manter atualizados os avanços tecnológicos e assegurar que sejam aproveitados para levar ao máximo o benefício ao ser humano. Um dos principais motivos de investimento em pesquisas na área de IHC é a busca do aumento da eficiência e produtividade dos usuários e, consequentemente de um maior ganho financeiro. Conforme descrito por [28], há pessoas que, apesar de serem social, econômica, intelectual e culturalmente bem posicionadas, sentem dificuldades em operar determinados tipos de máquinas digitais, passando a fazer parte dos excluídos da sociedade da informação. A área de IHC tem característica multidisciplinar, e seu objetivo é tornar as máquinas sofisticadas mais acessíveis, no que se refere à interação, aos seus usuários potenciais. Sendo uma abordagem não exclusiva apenas da área da Computação, mas compartilhada por toda a área de Ciência da Informação. 7

17 Numa primeira visão, considerando o computador como um tipo de máquina, poderia se pensar em IHC como parte da Interação Homem-Máquina. No entanto, embora a interação entre um ser humano e um computador possua aspectos em comum com a interação entre um ser humano e uma máquina qualquer, ela possui aspectos que a diferenciam. A Figura 1 ilustra a interação humano-computador da área de IHC, sendo que o usuário executa uma determinada ação na interface de alguma aplicação, e a aplicação retorna para o usuário a interpretação da ação solicitada de forma mais amigável. Figura 1: Representação da IHC como parte da Interação Humano-Computador. Conforme descrito por [29], os sistemas efetivos geram sentimentos positivos de sucesso, competência e clareza para os usuários. Os usuários não se sentem atrapalhados com o uso do computador e podem fazer uma previsão do que ocorrerá como resultado para cada ação executada. Quando um sistema interativo é bem projetado, a dificuldade na sua operação desaparece, permitindo que o usuário possa se concentrar em seu trabalho com prazer. 2.2 Comunicação Alternativa À medida que as Tecnologias da Informação e Comunicação (TICs) se desenvolvem, novos recursos têm sido disponibilizados para criação de ferramentas, possibilitando a interação entre a computação e diversas áreas. Conforme descrido por [13], tal interação tem possibilitado o surgimento de novas pesquisas com objetivo de promover a inclusão social de pessoas com deficiência. Neste contexto, esta seção apresenta o uso de interfaces multimodais com acionamento 8

18 por direção do olhar, utilizados como solução para promover a comunicação alternativa de pessoas com deficiência, buscando a inclusão social por meio da inclusão digital. Pessoas que possuem problemas motores apresentam dificuldades para expressarem os seus desejos, pensamentos ou até mesmo suas necessidades mais básicas. Nesse contexto, [13] aponta algumas patologias existentes, destacando-se a Esclerose Lateral Amiotrófica (ELA), na qual funções cognitivas estão preservadas, porém a comunicação oral é prejudicada pela alteração motora. Para estes casos, o tipo de comunicação é limitada, como por exemplo, ao movimento das mãos, movimentação da cabeça, movimento dos olhos, podendo se dar com um simples piscar de olhos ou a movimentação dos olhos direcionando o mesmo para um determinado objeto. Como descrito por [13], conceitos de interfaces multimodais podem servir de solução para o processo de comunicação alternativa para pessoas portadoras de deficiência, chamado de Comunicação Alternativa Facilitadora (CAF). São apresentados também dois modelos de sistemas utilizando o conceito CAF, sendo eles ImagoDiAnaVox [14] e Note- Vox [15]. Tais sistemas apresentam modelos de interfaces com acionamento por movimento ocular, sendo que sua utilização principal é a busca visual em crianças com Transtorno Invasivo do Desenvolvimento. O Sistema Eyegaze foi desenvolvido pela empresa LC Technologies Inc [30]. A movimentação ocular é descrita por meio do método pupil-center-corneal reflection (PCCR). As taxas de amostragens foram geradas com 60 hertz, sendo que para cada captura de amostragem são gerados indicadores a partir da captura ocular pela câmera. São gerados os indicadores de diâmetro da posição da pupila a partir das coordenadas x-y, a partir do centro da pupila identificada na tela, e o deslocamento ao longo do eixo z com base na duração e localização dos pontos identificados. Pode-se observar na Figura 2 o equipamento utilizado para o sistema Eyegaze e a posição do usuário em relação à câmera, o equipamento utiliza uma câmera infravermelho adaptada na base do monitor. 9

19 Figura 2: Layout ilustrativo do Eyegaze [30]. O uso de interfaces de acionamento ocular, conforme citado por [13], justifica-se nos casos em que o único movimento que, de fato, a pessoa tem controle é dos olhos. O autor cita que sistemas comerciais ainda são inacessíveis para uma grande parcela da população, devido ao seu custo elevado, sendo que tal situação poderá ser revertida devido ao desenvolvimento de novos sistemas. Esta seção demonstra uma utilização importante de sistemas de rastreamento ocular, e a falta de acessibilidade a esses sistemas e equipamentos. Este trabalho inicia a possibilidade de tornar sistemas de rastreamento ocular mais acessíveis, não só para pessoas com algum tipo de deficiência, mas para qualquer tipo de pessoa. 2.3 Principais algoritmos para detecção e processamento da região de interesse Detecção de Objetos A detecção de objetos em Visão Computacional, consiste na tarefa de encontrar um determinado objeto em uma imagem ou em uma sequência de imagens. Seres humanos têm a capacidade de reconhecer uma infinidade de objetos em imagens com pouco esforço, mesmo com o fato de que objetos em imagens podem variar em diferentes pontos 10

20 de vista, tamanhos, escala, ou, até mesmo, quando são traduzidas. Os objetos podem até mesmo serem reconhecidos quando estão parcialmente obstruídos da visão. Essa tarefa ainda é um desafio para os sistemas de Visão Computacional em geral, pois ainda não foi resolvida satisfatoriamente para o caso geral, em que objetos, cenários, iluminação e pose são arbitrárias. Um dos principais problemas desse processo, conforme descrito por [31], está relacionado à quantificação das informações visuais presentes nas imagens, ou seja, para um reconhecimento de um dado objeto é necessário encontrar, de alguma maneira, características na imagem que o distinguam dos outros objetos da cena. Viola e Jones [16] abordam uma maneira de detecção de objetos em uma determinada região de interesse, onde o algoritmo apresentado é superior aos demais já criados, se comparados isoladamente. Tal algoritmo teve, inicialmente, seu principal objetivo na detecção da região da face, onde os resultados em sua detecção e a exibição de falsos positivos obtiveram taxas equivalentes aos melhores resultados já publicados. A técnica apresentada por Viola e Jones [16] descreve diferentes maneiras para a realização da detecção de objetos, conforme a representação na Figura 3, que apresenta um exemplo das características do retângulo em relação à janela de detecção. A soma dos pixels dentro dos retângulos brancos é subtraída da soma de pixels dos retângulos cinzas. Duas características são apresentadas em (A) e (B), a Figura (C) apresenta uma característica de três retângulos, e a Figura (D) uma característica com quatro retângulos. 11

21 Figura 3: Representação da Janela de Detecção. [16] Uma das técnicas é chamada de Imagem Integral, sendo que a integral de uma determinada posição x,y é a soma dos pixels acima e dos pixels à esquerda do ponto x,y. Desta maneira, pode computar rapidamente as características do retângulo por meio da utilização de uma representação intermediária da imagem, conforme apresentado na Equação 1: ii(x, y) = i(x, y ), (1) x x,y y Equação 1: Imagem integral [16]. A Figura 4 mostra a área utilizada para o cálculo da Imagem Integral. 12

22 Figura 4: Representação da Imagem Integral [16]. A representação da imagem integral, demonstrada na Figura 4, apresenta a soma dos pixels dentro do retângulo D, que podem ser calculados a partir de quatro referências de matriz. O valor da imagem integral no ponto 1 é a soma dos pixels no retângulo A. O valor do ponto 2 é (A + B), o ponto 3 é (A + C) e o valor do ponto 4 é (A + B + C + D). A soma dentro do ponto D pode ser calculada como (2 + 3). Onde ii(x,y) é a Imagem Integral e i(x,y) é a imagem original. Outra técnica é definida pela utilização do método AdaBoost [32] que, por sua vez, tem como objetivo a utilização do processo de aprendizagem a fim de realizar buscas em determinadas regiões de uma imagem. Visando o aumento de velocidade no processo de detecção, a terceira técnica citada por Viola e Jones [16] tem como objetivo a classificação por meio de uma estrutura em cascata, focando em regiões promissoras da imagem. Tais técnicas mostradas são utilizadas como base de muitos sistemas de detecção ocular, por se tratarem de métodos robustos e com um melhor desempenho, de acordo com cada contexto. 13

23 2.3.2 Transformada de Hough A Transformada de Hough é uma técnica de extração de características muito utilizada em Análise de Imagens, Visão Computacional e Processamento de Imagem Digital. A partir de um processo de votação, a técnica tem como principal objetivo detectar objetos a partir de uma classe de formas. Um dos problemas na análise de imagens é a dificuldade de detecção de formas simples, como linhas retas [33], círculos ou elipses. Em alguns casos, a detecção de borda pode ser uma etapa de pré-processamento, auxiliando na obtenção de pontos da imagem ou pixels da imagem que estão na curva desejada no espaço da imagem. Para detecção de retas, a Transformada de Hough utiliza de coordenadas polares como parâmetros de busca, conforme apresentado na Figura 5. Figura 5: Coordenadas da Transformada de Hough [33]. O parâmetro r representa a distância da reta à origem, enquanto θ é o ângulo do vetor a partir da origem até o ponto mais próximo. A partir desta parametrização, a equação da reta pode ser escrita conforme exibido na Equação 2: y = ( cos Θ ) ( r ) x + sin Θ sin Θ (2) Equação 2: Equação da reta para Transformada de Hough [33]. 14

24 A Transformada de Hough também pode ser utilizada para detecção de círculos, conforme descrito por [17]. Esse processo realiza de forma parecida a detecção de uma reta, porém, para detecção de um círculo, é necessário a utilização de três parâmetros, conforme apresentado na seguinte função: C:( X centers, Y centers, r) Função de circunferência para Transformada de Hough [17]. Onde (Xc, Yc) definem a posição central e r é o raio da circunferência, permitindo a detecção de um círculo, conforme ilustrado na Figura 6. Figura 6: Exemplo de detecção de círculos utilizando a Transformada de Hough, com a equação de circunferência [17]. A próxima seção aborda os trabalhos relacionados e que foram utilizados como base de estudo para o desenvolvimento deste projeto. 2.4 Modelo-Base para o estudo Esta seção apresenta o trabalho relacionado que foi utilizados como base da pesquisa e modelo para o desenvolvimento da aplicação proposta. A subseção aborda um modelo de detecção e rastreamento ocular, baseado em processamento de filtros na imagem, a fim de encontrar pontos de borda que se assemelham a uma íris. 15

25 2.4.1 Detecção e Rastreamento de Olhos para Detecção de uma Interface Humano-Computador O trabalho apresentado por [22], consiste no desenvolvimento de um sistema capaz de, a partir da imagem capturada por uma webcam comum, identificar o movimento dos olhos do usuário e converter esta informação no movimento do mouse. A Figura 7 apresenta o fluxo de desenvolvimento do modelo proposto por [22], ilustrando as etapas de Processamento de Imagens. Figura 7: Fluxo do modelo proposto por [22]. A identificação da região da face é determinada utilizando o sistema proposto por [24], e, a partir desse resultado, o modelo realiza a busca na imagem por conjuntos de pontos de borda que aproximam-se de uma circunferência, criando hipóteses e testando-as para regiões onde possam estar os olhos do usuário. A detecção da região dos olhos se da a partir do gradiente da imagem convertida para tons de cinza. Em seguida, o algoritmo de detecção utiliza projeções horizontais e verticais dos pontos do gradiente, realizando a identificação da região dos olhos com alta precisão [34], conforme apresentado na Figura 8. Figura 8: Modelo utilizado na identificação da região dos olhos [22]. A Figura 8 ilustra o processo de identificação da região dos olhos, utilizando projeções 16

26 verticais, apresentado por [22]. A imagem [A] é resultado da projeção horizontal do gradiente da imagem original, encontrando dois pontos de máximo, sendo um em cada metade da imagem. A imagem [B] apresenta o terço médio da face, limitado pelas retas verticais laterais, identificando o ponto de máximo da projeção vertical da região e, finalmente, na imagem [C], na mesma região identificada no passo anterior, são encontrados dois pontos de máximo nas projeções horizontais, uma em cada metade da face. Tais pontos, juntamente com a reta horizontal, determinam os pontos onde a busca pelos olhos é iniciada. Tal técnica obteve uma precisão de 95% de acerto na identificação da região dos olhos, conforme resultados apresentado por [22]. Após realizada a detecção, um outro conjunto de pontos de borda, que se aproxima de uma circunferência nas duas regiões dos olhos, é utilizado para a detecção das íris. A fim de reduzir o número de falsos positivos, são considerados o diâmetro esperado da íris e também a existência de uma diferença de tonalidade significativa entre pontos externos e internos da borda, conforme apresentado na Figura 9. Figura 9: Modelo utilizado na identificação da região da íris [22]. O estágio final do projeto desenvolvido e descrito por [22], na seção de experimentos, 17

27 permite uma taxa de identificação da íris em imagens com boa iluminação frontal de até 87%. Os problemas relatados e verificados em [22] estão relacionados a falhas na detecção dos olhos, onde variações de iluminação no ambiente tornam a detecção dos olhos e seu rastreamento mais demorado, necessitando, em vários momentos, de uma reinicialização de todo o processo, não apresentando robustez adequada para uso real. A necessidade da aplicação de filtros, em toda região, em tempo real, torna o processo demorado para a detecção da região dos olhos. Além disso, o processo de movimentação do ponteiro do mouse é pouco preciso, necessitando de um procedimento de calibração mais eficaz. 18

28 3 TRABALHOS CORRELATOS Esta seção apresenta os trabalhos correlatos de sistemas de rastreamento ocular utilizados como base de estudos neste trabalho. A seção 3.1 aborda o sistema ITU Gaze Tracker, desenvolvido pelo grupo de pesquisas ITU GazeGroup [35]; a seção 3.2 versa sobre o produto comercial Tobii, desenvolvido pela empresa Tobii Technology [36]; a seção 3.3 apresenta o produto comercial EAS Binocular, desenvolvido pela empresa LC Technologies Inc. [30]; a seção 3.4 apresenta um trabalho que utilizou como base o trabalho apresentado na subseção 2.4.1, visando identificar melhorias no processo, tornando o sistema mais robusto. 3.1 ITU Gaze Tracker Pesquisas relacionadas à rastreamento ocular e controle de visada são temas em constante evolução em diferentes trabalhos. Um desses trabalhos é apresentado pelo grupo de pesquisas ITU GazeGroup (Research on eye tracking and gaze interaction) [35], em que o processo de rastreamento ocular consiste em uma ou mais câmeras capturando os olhos do usuário, a fim de medir e identificar os movimentos oculares, conforme apresentado na Figura 10. O projeto, conforme ilustrado na imagem, possui como etapa inicial a captura da imagem, seguida da extração das características da imagem, como, por exemplo, o centro da pupila e/ou o centro da íris. Uma etapa de fixação dos olhos é adicionada para minimizar os ruídos durante o Processamento da Imagem. Após a finalização das etapas de Processamento de Imagem, é iniciado o processo de calibração do usuário, que tem como objetivo fazer o mapeamento entre a posição da pupila com as coordenadas na tela. Figura 10: Sistema de rastreamento ocular [35]. A aplicação Gaze Tracker foi desenvolvida inicialmente para utilização em testes de 19

29 usabilidade, conforme descrito por [27]. A aplicação Gaze Tracker possui as seguintes características: a obtenção da direção do olhar e pontos não visualizados pelo usuário. Trata-se de um código aberto e baseia-se em equipamentos de baixo custo, obtendo os mesmos resultados de rastreadores oculares comerciais. Os requisitos para utilização da aplicação são uma webcam ou câmera de vídeo com visão noturna e iluminação infravermelho. Utilizando a biblioteca OpenCV [23], para Processamento de Imagens, os passos utilizados no Processamento de Imagens capturadas a partir de uma câmera são descritos por [37], sendo a câmera posicionada para capturar apenas os olhos do usuário em infravermelho. Para determinar o centro do olho mostrado na Figura 11, é executada uma segmentação na imagem extraindo os pontos de contorno entre a pupila e a íris. Os pontos encontrados são transformados em uma elipse usando o procedimento RANSAC (RANdom SAmple Consensus) [38] para eliminar os falsos positivos. A Figura 11 mostra como é realizada a captura do olho do usuário, detalhando a tela de configuração do sistema ITU Gaze Tracker, sendo possível configurar, por exemplo, o tamanho da área da pupila do usuário e o do brilho da câmera infravermelho. Figura 11: Interface da aplicação ITU Gaze Tracker [27]. 20

30 A Figura 12 apresenta outro exemplo de configuração que o sistema permite fazer, apresentando uma configuração considerada boa, quando os parâmetros não estão configurados muito abaixo e nem muito alto (esquerda) e uma outra configuração considerada ruim, pois os parâmetros foram configurados com seus valores máximos. Figura 12: Modelos de configuração da área da pupila, configuração boa (esquerda) e configuração ruim (direita) [27]. A precisão dos rastreadores é calculada a partir do ângulo visual, em que o tamanho de um pixel S e a distância do usuário em relação a tela D precisam ser pré-determinados. O cálculo de precisão em graus é feito por meio da Equação 3: ( A o = 180 Apx π.2.tan 2 1.S ) D (3) Equação 3: Cálculo de precisão em graus. O cálculo da distância entre as posições oculares detectadas e a posição do possível alvo produz uma taxa de erros em pixels, e sua precisão é calculada por meio da Equação 4: A p x = ( M N T i P i,j j=1 N M i=1 ) (4) Equação 4: Distância entre as posições oculares. A p x é a precisão em pixels, e a distância entre os olhos é feita pela amostra de P i, e seu correspondente é calculado por T i, gerando uma taxa de erro em pixels. 21

31 O desenvolvimento do sistema ITU Gaze Tracker teve como objetivo a captura e rastreamento ocular, e seu processo parte da detecção de um único olho do usuário, sendo necessárias duas lâmpadas infravermelho iluminando os olhos do usuário. O projeto teve um custo total de US$100, diferente de um equipamento profissional, citado na pesquisa, conhecido como Tobii modelo T60 [11], que tem um custo de US$30 mil. A Figura 13 mostra o ambiente utilizado para a execução dos testes do ITU Gaze Tracker, sendo apresentado o monitor adaptado com uma câmera infravermelho na base. O usuário deve ficar a uma distância de 60 cm do monitor para melhor captura da imagem. Figura 13: Ambiente de testes ITU Gaze Tracker [27]. Experimentos realizados com o ITU Gaze Tracker obtiveram uma taxa de erro maior em relação ao sistema Tobii T60, porém os resultados foram muito satisfatórios tratandose de um sistema de baixo custo. A Figura 14 mostra a diferença entre os sistemas, após a utilização e análise dos resultados de ambos. Os círculos vermelhos mostram o erro médio potencial do sistema Tobii T60, e os círculos amarelos mostram os resultados com ITU Gaze Tracker. 3.2 Tobii T60 O produto Tobii T60 [11] consiste de um produto comercial, em que um monitor de 17 o polegadas é integrado ao sistema de rastreamento ocular. O T60 realiza o rastreamento binocular, ou seja, os dois olhos são rastreados simultaneamente a uma taxa de 60Hz. O 22

32 Figura 14: O potencial erro médio do Tobii T60 (círculo vermelho) e o ITU Gaze Tracker (círculo externo amarelo) ilustrado em um screenshot da página do NY Times. [27] modelo permite o movimento da cabeça do usuário em até 70cm, sendo necessário que a cabeça permaneça centralizada ao monitor. O T60 integra um processador dedicado, cujo objetivo é o de não sobrecarregar o computador. O desempenho do sistema é relatado com uma latência de 33ms a partir da exposição do usuário à câmera de captação da imagem. A Figura 15 apresenta o projeto Tobii modelo T60, sendo um monitor com uma câmera de captura infravermelha adaptada na base. Figura 15: Projeto Tobii modelo T60 [36]. 23

33 3.3 EAS Binocular O produto EAS Binocular possui as seguintes características: - captura de imagens em infravermelho; - taxa de atualização de 120Hz; - captura e processamento dos dois olhos de forma independente; - captura 3D da localização ocular; - detecção do diâmetro da pupila; - modos de calibração entre 05 e 13 pontos; e uma taxa de acuracidade posicional de 0.45 o e pode ser adaptado em monitores entre 10 e 35 polegadas. A Figura 16 apresenta o produto EAS Binocular, mostrando a câmera de captura infravermelho adaptado a base do monitor. Figura 16: Produto EAS Binocular da empresa LC Technologies, Inc [30]. O sistema EAS Binocular é utilizado na realização de testes comparativos com o sistema proposto neste trabalho, processo detalhado no capítulo Robustez em um Sistema de Detecção e Rastreamento Ocular A melhoria da pesquisa realizada por [22], que deu origem a um sistema mais robusto constituiu, um dos primeiros passos deste trabalho de mestrado. Com as implementações propostas e implementadas no trabalho base [39], foi obtido um ganho de até 51% em relação ao modelo proposto por [22], conforme apresentado na Tabela 1, tornando o sistema mais robusto e com um desempenho mais elevado, mantendo 24

34 os requisitos de hardware e software. A taxa de melhora apresentada, em relação ao sistema utilizado como base, está relacionada à melhora no processo de detecção das regiões da face e dos olhos, o qual, diferente do modelo apresentado por [22] na seção 2.4.1, realizou três modificações nesse processo, limitando a região de busca dos olhos. A Figura 17 apresenta a primeira modificação (método A) implementada no sistema proposto por [22], apresentado no trabalho [39], com objetivo de alterar apenas os processos de detecção da face e detecção dos olhos. Figura 17: Diagrama de Fluxo da Implementação A. A segunda modificação (método B) no sistema proposto por [22], exibida na Figura 18, mantém o processo original de detecção da face e dos olhos, e aplica a modificação após a primeira detecção da íris, definindo uma região de interesse em torno dos olhos, para realizar uma busca local da região da íris. O objetivo dessa modificação é limitar o processamento apenas a uma região de interesse. Figura 18: Diagrama de Fluxo da Implementação B. Na terceira modificação (método C), apresentada na Figura 19, combina-se o método A (Figura 17) com a região em torno dos olhos do método B (Figura 18) para realizar uma busca local da íris. O processo de identificação da região da íris, devido ao seu desempenho satisfatório proposto por [22], foi mantido no trabalho proposto por [39]. Figura 19: Diagrama de Fluxo da Implementação C. 25

35 A Figura 20 mostra o resultado da implementação, a partir do diagrama de fluxo da implementação C, exibindo as marcações das regiões de interesse processadas a partir da imagem capturada pela webcam. Figura 20: Implementação do modelo apresentado no trabalho [39]. A Tabela 1 mostra o ganho e a perda de desempenho dos métodos implementados por [39], tomando como base o tempo total (detecção de íris e calibração do sistema) dos resultados obtidos com o método [22], tempos aplicados a testes realizados com dois usuários. Tabela 1: Desempenho dos métodos A, B e C em relação ao método proposto por [22] (tempo total). Usuário 1 Usuário 2 Método A -24% -4% Método B 16% 13% Método C 51% 20% 26

36 4 MODELO PROPOSTO Este capítulo apresenta o modelo proposto neste trabalho, visando o desenvolvimento de software aplicado a rastreamento ocular e controle de visada. A seção 4.1 apresenta o detalhamento do macro fluxo do modelo proposto neste trabalho. 4.1 Descrição do Macro Fluxo A utilização de regiões de interesse [26] permite o Processamento de Imagens com alta resolução, em tempo real, sem a perda de desempenho. Uma imagem com alta resolução possui um número maior de pixel tornando a detecção de objetos mais precisa e robusta. A Figura 21 detalha o modelo proposto neste trabalho, servindo de base para o desenvolvimento da aplicação, tendo como objetivo principal o processamento de regiões de interesse na imagem, possibilitando um melhor desempenho em cada etapa de processamento. 27

37 Figura 21: Fluxo macro do modelo proposto neste trabalho. À seguir são detalhadas cada uma das atividades do modelo proposto, ilustradas na Figura

38 4.1.1 Captura do frame da webcam O modelo proposto por [22] realiza a captura do frame em uma resolução máxima de 640x480 pixels, com uma taxa de 15fps. Neste trabalho, a captura de frames pela webcam é feita com uma qualidade não inferior a 720p, ou seja, captura é realizada com resolução mínima de 1280x720 pixels com uma taxa de 30fps. Para que o desempenho do computador não seja um fator negativo no Processamento da Imagem, são processadas apenas as regiões de interesse, eliminado o problema de desempenho encontrado no modelo proposto por [22], que faz o processamento em toda a imagem para cada frame capturado. Para a próxima etapa do processo, a imagem é convertida para uma imagem em escala de cinza e realizada a equalização do histograma, demonstrado na Figura 22. Figura 22: Conversão da imagem original para escala de cinza com equalização de histograma. 29

39 4.1.2 Detecção da Região da Face Nesta etapa recebe-se como parâmetro de entrada a imagem em escala de cinza e realiza-se a detecção da região da face. Para a detecção da face é utilizada a técnica apresentada por [16] e como parâmetro de entrada um arquivo XML contendo os Classificadores Haar, conforme descrito na biblioteca do OpenCV [40]. Com a região da face delimitada, uma estimativa da região dos olhos é extraída da imagem, servindo de parâmetro de entrada para a detecção dos olhos. A técnica segue as características apresentadas na seção 2.3.1, que utiliza três contribuições: Imagem Integral; Algoritmo de aprendizagem baseado em AdaBoost [32] e um método de combinação de classificadores de complexidade baseados em Haar-like features [41], ou seja, extração de atributos da imagem digital na detecção de objetos, criando um filtro em cascata eficiente. A solução proposta por [41], consiste na busca de atributos simples na imagem, e em sua sucessiva busca por atributos mais detalhados. A busca pelos atributos na imagem, é feita por uma variante do algoritmo AdaBoost [32], que consiste na busca de uma série de classificadores, que possuam um funcionamento em conjunto. A Figura 23 mostra a representação do algoritmo AdaBoost durante o processo de busca de atributos da imagem. 30

40 Figura 23: Representação da sequencia de busca de atributos na imagem. O algoritmo proposto por [41], trata regiões de 24x24 pixels, e a imagem é escaneada em 11 diferentes escalas, cada uma é 1.25 vezes maior que a anterior. A Figura 24 apresenta os atributos utilizados pelo primeiro classificador. Figura 24: Representação da utilização de atributos utilizados por [41]. O detector é então composto por 38 classificadores em cascata que usam no total 6060 atributos. O primeiro classificador usa apenas dois atributos e é capaz de rejeitar 50% 31

41 das imagens não-face e aceitar perto de 100% das imagens de regiões da face. O próximo classificador utiliza dez atributos. Os próximos dois classificadores usam 25 atributos cada, e são seguidos por três classificadores com 50 atributos. Os próximos classificadores usam quantidades variadas de atributos. Os classificadores são organizados no formato de uma árvore de decisão degenerada, que consiste no detector em cascata. O funcionamento dessa estrutura ocorre pela passagem de todas as sub janelas de uma imagem por diversos classificadores, sendo os primeiros mais simples que os seguintes. Após a obtenção de um resultado positivo na execução do primeiro classificador, a janela segue para o próximo, continuando seu processo até ser rejeitada, ou então, chegar ao final da cascata. Podendo ser rejeitada em qualquer uma das etapas, o detector entende que não existe uma face na janela processada. A Figura 25 ilustra o processamento em cascata apresentado por [16]. Figura 25: Estrutura que representa o detector em cascata [16]. Após a região da face ser identificada pelo processo anterior, os pontos de borda são utilizados como base para o primeiro processo de delimitação da região de interesse, que consiste em reduzir a região da face em um único retângulo, onde todo o processamento subsequente será realizado. 32

42 A Figura 26 apresenta a região de interesse da face a partir do Processamento da Imagem de entrada, esta região é utilizada como parâmetro de entrada para as próximas etapas, sendo desconsiderada do processamento a área não demarcada. Esse processo proporciona um ótimo desempenho e torna possível a utilização de imagens de alta resolução. Figura 26: Região de interesse da face. A Figura 27 apresenta o pseudocódigo do processo de detecção da região da face, exibindo os parâmetros utilizados para cada etapa do processo até a delimitação da região de interesse e o processo de exibição da região de interesse na imagem original Detecção da Região dos Olhos A delimitação da região de interesse da face é utilizada como base para a detecção da região dos olhos. O processo de detecção ocular utiliza a técnica de [16]. Após a realização da detecção ocular, uma nova delimitação da região de interesse é aplicada nas bordas de cada olho. Nesse processo são delimitadas duas novas regiões de interesse, sendo uma para o olho esquerdo e outra para o olho direito. Com a estimativa da região dos olhos realizada no passo anterior, o processo de detecção dos olhos baseia-se no mesmo processo utilizado na detecção da face, porém o 33

43 Figura 27: Pseudocódigo do processo de detecção da face. parâmetro de entrada contém o arquivo XML com os Classificadores Haar, para a região dos olhos, conforme descrito na biblioteca do OpenCV [40]. A identificação da região dos olhos serve de parâmetro de entrada para a identificação da região da íris que, por sua vez, também é processada para os dois olhos de forma independente. A Figura 28 exibe a demilitação da região de interesse do olho esquerdo após o processo de detecção. A região delimitada, apresentada na figura, é o parâmetro de entrada para a detecção da íris, sendo ignorada toda a área não demarcada neste processo. A Figura 29 exibe a demilitação da região de interesse do olho direito, utilizando o mesmo processo de detecção descrito para o olho esquerdo. A região delimitada apresen- 34

44 Figura 28: Região de interesse do olho esquerdo. tada na figura, conforme descrito anteriormente, é o parâmetro de entrada para a detecção da íris, sendo também ignorada toda a área não demarcada neste processo. Figura 29: Região de interesse do olho direito. 35

45 A Figura 30 apresenta o pseudocódigo do processo de detecção do olho esquerdo, exibindo os parâmetros utilizados para cada etapa do processo até a delimitação da região de interesse e o processo de exibição da região de interesse na imagem original. Para o olho direito, um processo similar é executado, diferenciando apenas nos parâmetros utilizados para detecção e calculo das regiões. Figura 30: Pseudocódigo do processo de detecção da região do olho esquerdo Busca pela Região da Íris Neste trabalho, a detecção da íris e seu rastreamento são os pontos principais a serem estudados. Para esse processo foi utilizada a técnica Transformada de Hough, conforme 36

46 descrita por [25]. A utilização desta técnica tem como objetivo a busca de círculos na região de interesse de cada olho. A detecção da íris é feita de maneira individual, ou seja, é feita a detecção da íris do lado esquerdo independentemente da detecção do lado direito. A Figura 31 apresenta o resultado da técnica apresentada por [25], utilizando a técnica da Transformada de Hough. Figura 31: Detecção da íris, apresentada por [25], utilizando a Transformada de Hough. O processo de detecção da íris leva em consideração a região de interesse de cada olho, destacado na etapa anterior. A busca de um círculo parte dos limites atribuídos para cada um dos olhos já detectados. Para obter uma melhor precisão na detecção da íris, em conjunto com a técnica Transformada de Hough, descrita por [25], a detecção das bordas da região de interesse se fez necessária a fim de delimitar a região de busca da íris a partir da região dos olhos. Esse processo torna possível a identificação do centro da pupila, tornando a detecção e rastreamento da íris mais robusta. A Figura 32 mostra a região de interesse da íris do lado esquerdo e a Figura 33 mostra a região de interesse da íris do lado direito. As imagens também apresentam a indicação 37

47 do canto de cada olho, os quais têm as suas posições determinadas pela detecção do centro da pupila. Figura 32: Região de interesse da íris do lado esquerdo. A Figura 32 mostra o processo após a detecção da região dos olhos e a delimitação dos pontos de interesse na imagem, sendo realizado o Processamento da Imagem a fim de buscar e a detectar da íris, apenas na região demarcada no processo anterior. A Figura 33 segue o mesmo processamento utilizado para a Figura 32, sendo efetuada a busca e detecção da íris apenas ne região delimitada no processo anterior. Figura 33: Região de interesse da íris do lado direito. Como pode ser observado nas figuras anteriores, o processo de busca e detecção da 38

48 íris, para ambos os olhos, trabalha de forma independente, ou seja, tanto o olho esquerdo como o olho direito possuem processos independentes de busca e detecção, permitindo a parametrização, ou talvez, algum tipo de adaptação para qualquer um dos olhos, sem que o mesmo interfira no processamento do outro Calibração do Sistema Para garantir uma precisão satisfatória das ações a serem realizadas pelo usuário, como, por exemplo, a movimentação do ponteiro do mouse, foi adicionado à aplicação um processo de calibração. Tal processo exige, após a primeira interação do usuário durante a detecção da íris, que o mesmo fixe o olhar para pontos definidos pela aplicação, com o objetivo de armazenar os limites de cada um dos quatro lados do monitor, sendo eles os pontos de máximo e mínimo dos eixos X e Y. As coordenadas são utilizadas para determinar a precisão do movimento do mouse visto que, neste trabalho, tais coordenadas são extraídas de forma independente, ou seja, são extraídas para cada olho separadamente. Esse processo torna o movimento do ponteiro mais preciso, pois a detecção de forma conjunta causa falhas de posicionamento e pouca precisão durante o processo de posicionamento do ponteiro do mouse. O processo de calibração foi separado em fases distintas, sendo que cada uma orienta o usuário a fixar o olhar para cada um dos pontos indicados na tela. As fases da calibração foram divididas da seguinte maneira: 1. centro da tela; 2. canto superior esquerdo; 3. canto superior direito; 4. canto inferior direito; 5. canto inferior esquerdo. As fases do processo de calibração são realizadas para os dois olhos, conforme já descrito. 39

49 4.1.6 Rastreamento da Íris Após a calibração realizada e os limites identificados, o processamento é retomado para a etapa inicial, porém com as regiões de interesse já demarcadas durante a primeira interação. O centro da íris é demarcado para ser utilizado como referência para a próxima etapa do processo, sua posição em relação à imagem é transformada a partir de uma matriz de transformação em uma posição (x, y) proporcional ao tamanho da área de trabalho utilizada. Tal processo é base para a realização da movimentação do ponteiro do mouse. A Figura 34 apresenta o pseudocódigo do processo de detecção da íris, exibindo os parâmetros utilizados para cada etapa do processo até a delimitação da região de interesse e o processo de exibição da região de interesse na imagem original. O processo se repete para detecção da íris em ambos os olhos, direito e esquerdo, não havendo diferença de parâmetros ou configuração personalizada para ambos os olhos. Figura 34: Pseudocódigo do processo de detecção da região da íris. 40

50 O processo de rastreamento da íris aplicada neste trabalho, consiste em uma busca local realizada para cada frame capturado pela câmera. Devido a delimitação das regiões de interesse realizada nos processos anteriores de detecção da face e detecção da região dos olhos, a retomada do processo de detecção da íris não possui custo computacional elevado. Os estados atuais da detecção da íris são armazenados em variáveis de controle, com objetivo de aumentar a robustez da aplicação em uma possível falha em alguma das etapas do processo, o sistema realiza a retomado do processo inicial a partir dos parâmetros armazenados no processamento do frame anterior, tornando o sistema tolerante a falhas, não necessitando realizar todas as etapas do Processamento de Imagens, o que poderia acarretar em um custo computacional desnecessário Movimento do Mouse A partir de todo o processo de detecção das características da região da face com limitação das regiões de interesse, é possível manipular essas informações de várias maneiras, como, por exemplo, controle do clique do mouse a partir do piscar de olhos do usuário, conforme descrito por [42] e [43]. Desta maneira, são desenvolvidos sistemas com base na detecção da íris do usuário e o controle do mouse a partir dos movimentos dos olhos. O posicionamento do ponteiro do mouse é calculado a partir dos limites das regiões estabelecidas pelo processo de calibração. Tal processo tem como objetivo identificar os limites da área de visão do usuário, a fim de melhorar a precisão dos movimentos do ponteiro do mouse. A captura dos limites de tela é realizada no processo de calibração da aplicação, sendo armazenados os pontos demarcados em tela, para determinar os limites de tela, e também, o ponto central, pontos utilizados para posterior cálculo de posicionamento do mouse, baseado no posicionamento ocular. A Figura 35 ilustra os pontos armazenados durante o processo de calibração, sendo calculados os limites dos pontos capturados. 41

51 Figura 35: Modelo de cálculo de limites das posições x,y. Para geração do x e y, são considerados o posicionamento dos dois olhos do usuário, então é calculada a média sobre os valores a partir da diferença entre a média das posições. A Equação 5 apresenta o cálculo realizado para o x. x = XseL + XseR 2 XsdL + XsdR 2 Equação 5: Cálculo do x. (5) Sendo XseL a posição X superior esquerda relacionada ao olho esquerdo, XseR a posição X superior esquerda relacionada ao olho direito, XsdL a posição X superior direita relacionada ao olho esquerdo e XsdR a posição X superior direita relacionada ao olho direito. A Equação 6 apresenta o cálculo para o y. ( Y sel + Y ser y = 2 ) ( Y iel + Y ier Y sdl + Y sdr 2 2 ) Y idl + Y idr 2 (6) Equação 6: Cálculo do y. Sendo Y sel a posição Y superior esquerda do olho esquerdo, Y ser a posição Y superior esquerda do olho direito, Y iel a posição Y inferior esquerda do olho esquerdo, Y ier a posição Y inferior esquerda do olho direito, Y sdl a posição Y superior direita do olho 42

52 esquerdo, Y sdr a posição Y superior direita do olho direito, Y idl a posição Y inferior direita do olho esquerdo e Y idr a posição Y inferior direita do olho esquerdo. O cálculo dos pontos x e y são armazenados para posterior utilização no processo de movimentação do mouse, tal que, para cara posicionamento ocular capturado em cada frame processado pela aplicação, os valores de x e y são utilizados para mapear a tela do usuário, em relação à imagem capturada. A posição central, capturada no início do processo de calibração, é utilizado para realizar o movimento do mouse, sendo que, sua posição é armazenada em cada frame processado. O posicionamento X e Y capturados no frame, é comparado com o valor capturado no frame anterior, e então, o ponteiro do mouse é movimentado, tendo seu posicionamento X e Y acrescido e/ou decrescido de 20 pixels, sendo então, realizado o movimento do ponteiro do mouse Acionamento do Click do Mouse Para o acionamento da ação de click do mouse, foi utilizada a mesma operação realizada por [22], sendo executada a ação de Click a partir do fechamento de um dos olhos, podendo ser, o olho esquerdo, ou o olho direito. O processo de fechamento de um dos olhos, é identificado a partir da não detecção da íris de apenas um dos olhos por mais de dois segundos. 43

53 5 DESENVOLVIMENTO DA APLICAÇÃO Este capítulo versa sobre o desenvolvimento da aplicação baseado no modelo proposto. O desenvolvimento do sistema de software deste trabalho consiste no processamento de regiões específicas da imagem, mais precisamente nas regiões mais importantes para os resultados esperados do processo. A aplicação foi desenvolvida com objetivo de validar as técnicas descritas no capítulo 4, realizando testes com o sistema-base e sistemas comerciais e, também a apresentação de casos de testes apenas da aplicação desenvolvida neste trabalho. A seção 5.1 apresenta a metodologia de desenvolvimento de software utilizada; a seção 5.2 descreve o escopo do desenvolvimento da aplicação; a seção 5.3 detalha o processo de análise de requisitos; a seção 5.4 versa sobre os recursos de hardware e software utilizados para o desenvolvimento da aplicação. Finalmente a seção 5.5 aborda o processo de implementação da aplicação desenvolvida. 5.1 Metodologia de Desenvolvimento da Aplicação A metodologia utilizada para suportar o desenvolvimento da aplicação é a metodologia baseada em Prototipação. Prototipação (ou modelo Evolutivo), conforme definido por [44], é classificada como um Modelo de Processo de Software, ou seja, ela determina a maneira precisa de como serão as atividades e dinâmicas da criação do software. O desenvolvimento é feito obedecendo a realização das diferentes etapas de análise de requisitos, projeto, codificação e os testes. Devido à complexidade no levantamento de requisitos, se faz necessária a utilização de um protótipo do sistema, sendo que um protótipo é uma versão inicial de um sistema de software, utilizado para apresentar conceitos e realização de testes experimentais. Um protótipo de software apóia duas atividades do processo de engenharia de requisitos: 44

54 Levantamento de requisitos: Os protótipos de sistema permitem que os usuários realizem experiências para ver como o sistema apóia seu trabalho. Podem gerar novos requisitos e identificar pontos positivos e negativos do software. Validação de requisitos: O protótipo pode revelar erros e omissões nos requisitos propostos. Uma função descrita em uma especificação pode parecer útil e bem-definida. Contudo, quando essa função é utilizada com outras, os usuários muitas vezes acham que sua visão inicial era incorreta e incompleta. A especificação de sistema pode, então, ser modificada para refletir sua compreensão alterada dos requisitos. A Figura 36 apresenta o modelo de desenvolvimento utilizando a metodologia de prototipação da Engenharia de Software. Figura 36: Modelo de prototipação [44]. Conforme descrito por [45], um protótipo é uma versão inicial de um sistema, para demonstrar conceitos e testar opções de projeto, podendo ser utilizado no processo de engenharia de requisitos, auxiliando na validação de requisitos requisitos, nos processos de projeto para explorar opções, no desenvolvimento de um projeto de interface de usuário e no processo de testes. A Figura 37 exemplifica o processo de desenvolvimento 45