A Robust Eye Detection and Tracking System for Human Computer Interaction

Transcrição

1 A Robust Eye Detection and Tracking System for Human Computer Interaction André Brasiliano, André Kishimoto, Maurício Marengoni, Valéria Farinazzo Martins Pós-Graduação em Engenharia Elétrica Universidade Presbiteriana Mackenzie Abstract Eye tracking and mouse control for disable users is an important issue in Human-Computer Interaction. This is an ongoing project and our goal is to provide a system for eye tracking and mouse control with a low cost. The work presented here shows three modifications in a previous system in order to increase the system performance and robustness. The first modification proposed searches directly for the eyes instead of finding the face first. The second method uses the face-eye search but after detecting the eye uses a local search for tracking. The third method combines both changes finding the eyes directly and using local search for tracking. The paper presented here discusses the implementation and tests performed. Overall a 50% gain was obtained in time performance. Some of the future work presented here will be studied in order to increase the system robustness. Index Terms eye tracking, robustness, iris detection, mouse control. I. INTRODUÇÃO Interface Homem-Computador (IHC) pode ser definida como a parte de um sistema computacional com a qual uma pessoa entra em contato físico e conceitual [1], ou seja, a interface pode ser entendida como um sistema de comunicação que possui dois componentes, um sendo o componente físico - hardware e software - em que o usuário é capaz de perceber e de interagir com o mesmo; e outro conceitual, em que ele interpreta, processa e raciocina. No início da computação, em que apenas os especialistas utilizavam sistemas computacionais, não se explorou efetivamente a área de Interface Homem-Computador. Porém, desde a popularização do acesso aos equipamentos e a conseqüente proliferação de usuários não especialistas, há uma preocupação, cada vez mais acentuada, de se criar interfaces que se julguem mais amigáveis. Nos últimos anos, a área de IHC tem se desenvolvido, e esforços tem sido empregados em relação a questões de projeto e avaliação de interfaces não convencionais, tais como interfaces gestuais [2], interfaces por voz (Voice User Interface) [3] e interfaces por rastreamento ocular [4]. As interfaces por rastreamento ocular são aquelas que consistem em detectar, através de uma ou mais câmeras a direção do olhar do usuário que se encontra a frente do monitor [5]. Interfaces por rastreamento ocular têm sido usadas, entre outras aplicações, para permitir a inclusão de pessoas com deficiências motoras dos membros superiores [6]. Desse modo, é importante que seja possível desenvolver uma forma eficiente de rastreamento ocular, para que a pessoa possa, por meio do movimento dos olhos, por exemplo, levar o ponteiro do mouse até o ponto desejado, e o usuário possa efetuar uma determinada ação. Vários métodos têm sido desenvolvidos para a solução desse problema, assim como a melhora do rastreamento e a usabilidade do sistema. Pode-se, por exemplo, usar a detecção da íris, com uma [7] ou duas câmeras [8], para efetuar o rastreamento; pode-se fazer essa detecção através de óculos detectores [9], ou ainda utilizar a detecção da parte branca dos olhos [10]. Esses procedimentos possuem um alto custo, pois, em geral, envolvem um conjunto de equipamentos sofisticados, profissionais e de montagem complexa, tais como câmeras, detectores, óculos especiais e receptores, além de equipamentos de hardware capazes de executar o processamento em uma escala profissional. Um exemplo disso é o sistema apontado por [11], onde são exibidos diversos sistemas computadorizados de Comunicação Alternativa Facilitadora (CAF) como ImagoDiAnaVox [12] e NoteVox [13], que se baseiam em diversos dispositivos e interfaces multimodais, e apresentam uma solução por acionamento do movimento ocular para os sistemas de comunicação alternativa. O objetivo deste projeto é desenvolver um sistema eficiente, robusto e de baixo custo para ser utilizado por pessoas que possuam alguma deficiência motora que não permita o uso de mouse comum. O trabalho está dividido da seguinte forma: na seção II é exibido o modelo que foi utilizado como base para este trabalho, identificando os principais pontos abordados e os problemas existentes; na seção III são apresentados os modelos desenvolvidos neste trabalho para melhoria do sistema base; a seção IV mostra os testes realizados comparando o sistema desenvolvido por [14] e os modelos propostos neste trabalho apontando os ganhos e/ou perdas obtidas.; finalmente, na seção V são mostradas as conclusões deste trabalho, e os trabalhos futuros que devem ser estudados para melhorar o sistema de rastreamento de olhos em uma interface humano-computador. II. EMBASAMENTO TEÓRICO O projeto apresentado por [14] consiste no desenvolvimento de um sistema capaz de, a partir da imagem capturada por uma webcam comum, identificar o movimento dos olhos do usuário e converter esta informação no movimento do mouse. A identificação da região da face é determinada utilizando o sistema proposto por [15], e, a partir deste resultado, o modelo realiza a busca na imagem por conjuntos de pontos de borda

2 que se aproximem de uma circunferência, criando hipóteses e as testando para regiões onde possam estar os olhos do usuário. A detecção da região dos olhos se dá a partir do gradiente da imagem convertida para tons de cinza; em seguida o algoritmo de detecção utiliza projeções horizontais e verticais dos pontos do gradiente, realizando a identificação da região dos olhos com alta precisão [16]. Realizada esta detecção, um outro conjunto de pontos de borda, que se aproxima de uma circunferência nas duas regiões dos olhos, é utilizado para a detecção das íris. A fim de reduzir o número de falsos positivos, são considerados o diâmetro esperado da íris e também a existência de uma diferença de tonalidade significativa entre pontos externos e internos da borda. O estágio final do projeto desenvolvido em [14] permite uma taxa de identificação da íris em imagens com boa iluminação frontal, da ordem de 87,5%. Os problemas relatados e verificados em [14] estão relacionados com falhas na detecção dos olhos, onde variações de iluminação no ambiente torna a detecção dos olhos e seu rastreamento mais demorado, necessitando, em vários momentos, de uma reinicialização de todo o processo, não apresentando robustez adequada para uso real. A necessidade da aplicação de filtros aplicados em toda região, em tempo real, torna o processo demorado para a detecção da região dos olhos. Além disso, o processo de movimentação do ponteiro do mouse é pouco preciso, necessitando de um procedimento de calibração mais extenso. A detecção da região da face também utiliza a técnica de árvore de decisão de Viola-Jones [17]. A Figura 2 mostra a detecção da região dos olhos na implementação A (região em vermelho). Para a detecção da região da íris o método proposto Figura 2. Detecção da Região dos Olhos. em [14] foi modificado para limitar a busca da íris dentro da região dos olhos detectada no passo anterior (método A) conforme mostrado na Figura 3. III. MODELO PROPOSTO Para melhorar o sistema desenvolvido por [14], obter uma melhor robustez, e ganhos de desempenho, foram propostas três modificações no processo de detecção da íris e calibração do sistema. Na primeira modificação (método A), captura-se uma imagem utilizando uma webcam e implementa-se a detecção dos olhos através da busca em cascata descritas por Viola-Jones [17]. Nesta técnica, a busca pela região dos olhos utiliza uma árvore de decisão, um processo que mostrou resultados satisfatórios encontrando a região dos olhos com rapidez e precisão. Uma vez detectada a região dos olhos, o sistema limita-se a buscar e rastrear a íris a partir dos pontos de borda detectados no processo descrito por [14], não necessitando utilizar toda a região da face para realização de cálculos na identificação dos olhos. Assim, o método A consiste nas seguintes etapas (Figura 1): Figura 3. Detecção da Região dos Olhos. Na segunda modificação (método B), foi utilizada toda a região da face durante a detecção da íris conforme [14], mas, após a íris ser detectada, define-se uma região em torno dos olhos para realizar uma busca local durante a calibração e uso do sistema. Assim, este método possui uma fase a mais que o método A, indicado na Figura 4. A detecção da face neste método também utiliza a técnica [17], com isso, é possível obter uma melhor precisão da região da íris devido a uma limitação da área de busca, eliminando os filtros aplicados em toda a região da imagem. Figura 1. Diagrama de Fluxo da Implementação A. Figura 4. Diagrama de Fluxo da Implementação B.

3 Na terceira modificação (método C), combina-se o método A com a região em torno dos olhos do método B (para busca local). A Figura 5 mostra os passos desse método. As figuras Figura 5. Diagrama de Fluxo da Implementação C. 6 e 7 mostram as regiões de busca utilizadas nos métodos A e B, respectivamente: foi mantida nesse trabalho. O ponto de partida é a captura de uma imagem colorida com a face do usuário já delimitada, conforme descrito em [15]. A partir deste resultado, procura-se um conjunto de pontos de borda que se aproximem de uma circunferência nas duas regiões esperadas para a identificação dos olhos. Algumas restrições são utilizadas no processo de detecção dos olhos para reduzir o número de falsos positivos, como o diâmetro esperado da íris na imagem e, também, a existência de uma diferença marcante de tonalidade entre os pontos externos e internos da região considerada. IV. TESTES E RESULTADOS Os testes executados neste trabalho tiveram o objetivo de avaliar as técnicas de visão computacional propostas por [14] frente às modificações propostas nesse trabalho visando uma maior robustez em conjunto com baixo custo computacional e uso de hardware de baixo custo. Foram realizados testes iniciais apenas com os autores (desenvolvedores) das técnicas aplicadas. Assim, foram implementados os métodos A, B e C e o sistema descrito em [14]. Os quatro sistemas foram então comparados. Os testes e resultados obtidos são descritos a seguir. A. Descrição dos Testes Os equipamentos utilizados para os testes são os descritos na Tabela I. Figura 6. Método A - detecção utilizando a busca da íris apenas na região dos olhos (detecção de olhos pelo método de Viola-Jones). Tabela I DESCRIÇÃO DOS EQUIPAMENTOS UTILIZADOS. Equipamento Modelo Configuração Notebook Sony SVS15115FBB Processador Intel Core i7, Vaio 6GB RAM, HD 750GB Notebook Dell XPS Processador Intel Core i7, 8GB RAM, HD 500GB Figura 7. Método B - rastreamento da íris em uma região em torno dos olhos (definida após a íris ser detectada). Inicialmente, foi utilizada a técnica de Template Matching [18] para a detecção dos olhos. A ideia era de se encontrar mais rapidamente esta região através de modelos de imagens pré-existentes contendo a região dos olhos. Porém, esta técnica mostrou-se computacionalmente cara com limitações quanto ao deslocamento dos olhos; devido a este motivo foi desconsiderada no desenvolvimento deste trabalho. O método de busca da íris apresentado em [14] possui alta precisão e robustez na detecção e rastreamento, por isso ela Foram realizadas baterias de testes no processo de calibração, que é o processo utilizado após a identificação da íris do usuário para mapear as bordas limites do monitor e iniciar a movimentação do mouse. Neste processo é solicitado ao usuário deslocar os olhos para os quatro cantos do monitor, para que se possa obter o número de pixels deslocados para cada lado. Após a calibração, é iniciada a movimentação do ponteiro do mouse a partir do movimento dos olhos do usuário. Os testes realizados consistem basicamente na variação das condições de iluminação e posicionamento do usuário. Para cada usuário, foi definido um modelo de testes, variando sua localização e utilização de acessórios, como, por exemplo, o uso de óculos. Cada usuário realizou três testes para cada modelo proposto; foi medido o tempo e analisado o desempenho de cada modelo. O tempo foi medido para o processo de identificação dos olhos, tempo de rastreamento durante a calibração, tempo póscalibração, perda e retomada da detecção, a unidade de medida de tempo em segundos. Variações de iluminação no ambiente, conforme apresentado na Figura 8, ocasionaram falhas em todos os modelos utilizados.

4 Figura 8. Diferença entre um ambiente com boa iluminação e uma iluminação pouca. B. Implementações Como o modelo proposto por [14] apresenta resultados satisfatórios na detecção de íris em imagens fixas (fotografias), os testes e implementações foram realizados com foco em imagens capturadas por uma webcam em tempo real. Os softwares utilizados para o desenvolvimento da aplicação nesse trabalho foram: Visual Studio com C++ [19] e a biblioteca OpenCV [20]. Foram utilizados dois usuários, um que utiliza óculos e outro não. Eles estavam em ambientes físicos diferentes, com iluminação controlada, porém distintas entre os testes realizados. As imagens utilizadas em todos os testes foram capturadas com uma resolução de captura padronizada em 640x480 pixels. C. Resoluções de Captura da Imagem Um dos aspectos discutidos em termos de melhoria de desempenho do sistema no trabalho apresentado em [14] está relacionado com o uso de imagens de alta definição. Neste trabalho, foram testadas diferentes resoluções na captura da imagem, sendo consideradas: 800x600 pixels, 1024x768 pixels e 1980x720 pixels (High Definition). Os resultados esperados como melhora na detecção, rastreamento dos olhos e precisão na movimentação do mouse não foram satisfatórios, devido a um alto custo computacional - lentidão no processo de captura e processamento da imagens, afetando o desempenho de todo o processo. O mesmo resultado foi obtido aplicando os testes no modelo proposto por [14], impossibilitando a execução e análise de desempenho referente ao uso de webcams com o uso de imagens com maior resolução. Portanto, para os testes aqui executados foi fixada a resolução de 640x480 pixels. D. Resultados O método A mostrou uma melhora na detecção da íris com pessoas usando óculos, (desde que a lente dos óculos não tenha reflexos excessivos), algo que não ocorre no modelo proposto por [14]. A Figura 9 mostra a detecção de íris com uso de óculos. Figura 9. Precisão na detecção da íris mesmo com o uso de óculos. No entanto, o tempo total envolvendo a detecção de íris e a calibração do sistema usando o método A foi maior que o esperado. Como pode ser observado na Tabela II, onde o tempo no processo de calibração do sistema (rastreamento de íris) com busca local diminuiu, na Tabela III, houve uma melhora do tempo total para os métodos B e C. A Tabela III mostra a média de tempo total obtida em três execuções para o método apresentado em [14] e para os métodos A, B e C, enquanto as Tabelas IV e V mostram a média de tempo para a detecção de íris e calibração do sistema, respectivamente. Tabela II TEMPO TOTAL (DETECÇÃO DE ÍRIS E CALIBRAÇÃO DO SISTEMA) PARA O MÉTODO DE [14] E OS TRÊS MÉTODOS PROPOSTOS NESTE TRABALHO. Método de [14] 90s 45s Método A 112s 47s Método B 75s 39s Método C 44s 36s Tabela III TEMPO PARA DETECÇÃO DE ÍRIS DOS MÉTODOS A, B E C, COM RELAÇÃO AO MÉTODO DE [14]. Método de [14] 31s 15s Método A 32s 20s Método B 32s 15s Método C 30s 19s Tabela IV TEMPO PARA CALIBRAÇÃO DOS MÉTODOS A, B E C EM RELAÇÃO AO SISTEMA [14]. Método de [14] 59s 30s Método A 80s 27s Método B 43s 24s Método C 14s 17s Pode-se observar também que há uma diferença considerável de tempo entre os dois usuários, resultado da execução do sistema com webcams e ambientes com iluminação diferentes. A Tabela V mostra o ganho ou perda de desempenho dos métodos deste trabalho, tomando como base o tempo total (detecção de íris e calibração do sistema) dos resultados obtidos com o método [14].

5 Tabela V PERFORMANCE DOS MÉTODOS A, B E C EM RELAÇÃO AO MÉTODO PROPOSTO POR [14] (TEMPO TOTAL). Método A -24% -4% Método B 16% 13% Método C 51% 20% V. CONCLUSÃO E TRABALHOS FUTUROS Este trabalho apresentou modelos de detecção e rastreamento de olhos do usuário de forma a melhorar o desempenho e a robustez do sistema proposto em [14]. Este trabalho mostra ainda a viabilidade da utilização de várias técnicas, algumas ainda a serem exploradas e combinadas, podendo-se obter melhores resultados juntamente com um custo acessível. Com isso foi possível desenvolver uma aplicação mais robusta que a proposta [14], onde testes deverão ser realizados para verificar a efetividade da técnica com um grupo significativo de usuários. A delimitação da busca de objetos para a região de interesse implementados neste trabalho tornou o sistema mais robusto por não haver necessidade de realizar buscas constantes em toda a imagem de entrada. Tais implementações obtiveram uma melhora no processo em torno de 51% nos quesitos de desempenho em comparação às técnicas implementadas por [14]. Durante o processo de testes, onde a iluminação frontal da face do usuário não era favorável, ou seja, a face do usuário não estava totalmente iluminada, o sistema apresentou falhas em todo o processo. O posicionamento do usuário, foi outro fator de grande impacto, onde o usuário que estava mais distante da câmera obteve um resultado inferior em comparação com outro usuário, o que, de certa forma, já era esperado, uma vez que quanto maior a distância da câmera menor o número de pixels para detecção dos olhos e da íris. Por se tratar de um sistema em estudo e desenvolvimento, algumas modificações foram identificadas onde deve ser possível obter uma melhor robustez no sistema. Métodos, por exemplo, a previsão de objetos utilizando a comparação de frames, não necessitando utilizar toda a região da imagem para executar o processamento, aumentando o desempenho e a robustez do sistema. Outra melhoria a ser implementada, é no processo de captura da imagem com aumento da resolução da câmera, onde acredita-se que se pode obter uma melhoria na identificação da região dos olhos e da íris, e melhor precisão na movimentação do ponteiro do mouse. Outra melhoria possível seria a implementação de uma configuração de perfil para cada usuário, onde uma parametrização prévia seria realizada de acordo com o usuário e o ambiente, a fim de minimizar a questão da iluminação, que afeta o desempenho do sistema de forma significativa. Testes sistematizados com uma população maior de usuários deverão ser realizados, a fim de analisar a usabilidade e o comportamento do sistema para diferentes tipos de usuários. Testes com outros equipamentos podem ser adicionados à pesquisa, a fim de se verificar possíveis ganhos, como, por exemplo, a utilização de um monitor com tamanho e resolução maiores, podendo melhorar a capacidade do rastreamento da íris com a maior área de visualização utilizada além de favorecer o controle do movimento do mouse. REFERÊNCIAS [1] A. I. Orth, Interface homem-máquina, [2] M. d. P. Guimaraes, V. F. Martins, and J. R. F. Brega, A software development process model for gesture-based interface, in Systems, Man, and Cybernetics (SMC), 2012 IEEE International Conference on. IEEE, 2012, pp [3] A. L. Kawamoto, V. F. Martins, and J. S. Neto, Requirements and guidelines for the evaluation of voice user interfaces, Aleksandar Lazinica. (Org.). User Interfaces, vol. 1, pp , [4] A. Leonel, F. Buarque, S. C. Oliveira, and H. S. B Filho, Uma interface humano-máquina inteligente baseada no rastreamento ocular para comunicação escrita de pacientes com síndrome locked-in, [5] H. Pistori and J. J. Neto, Utilização de tecnologia adaptativa na detecção da direção do olhar, Spc Magazine, vol. 2, [6] S. S. Liu, A. Rawicz, S. Rezaei, T. Ma, C. Zhang, K. Lin, and E. Wu, An eye-gaze tracking and human computer interface system for people with als and other locked-in diseases, Journal of Medical and Biological Engineering, vol. 32, no. 2, pp , [7] C. Hennessey, B. Noureddin, and P. Lawrence, A single camera eyegaze tracking system with free head motion, in Proceedings of the 2006 symposium on Eye tracking research & applications. ACM, 2006, pp [8] M. Yamamoto, T. Nagamatsu, and T. Watanabe, Development of eyetracking pen display based on stereo bright pupil technique, in Proceedings of the 2010 Symposium on Eye-Tracking Research & Applications. ACM, 2010, pp [9] C. Topal, A. Dogan, and O. Gerek, An eye-glasses-like wearable eye gaze tracking system, in Signal Processing, Communication and Applications Conference, SIU IEEE 16th. IEEE, 2008, pp [10] A. Soetedjo, Eye detection based-on color and shape features, Eye, vol. 3, no. 5, [11] D. Deliberato, M. Goncalvez, and E. Macedo, Comunicação alternativa: teoria, prática, tecnologias e pesquisa, São Paulo: Memnon, pp , [12] F. C. Capovilla and M. D. E. C. Macedo, Imagodianavox v40s versão para windows 95 em redes, [13] J. L. P. Lima, E. C. Macedo, F. C. Capovilla, and G. C. Sazonov, Implantação e adaptação do sistema de comunicação notevox para uma pessoa com esclerose lateral amiotrofica, um estudo de caso, Tecnologia em (re)habilitação cognitiva, pp , [14] V. F. Junior and M. Marengoni, Detecção e rastreamento de olhos para implementação de uma interface humano-computador, [15] J. Cândido and M. Marengoni, Enhancing face detection using bayesian networks, Honolulu, HI, Unitedstates: Acta Press, [16] K. Peng, L. Chen, S. Ruan, and G. Kukharev, A robust agorithm for eye detection on gray intensity face without spectacles, Journal of Computer Science & Technology, vol. 5, [17] P. Viola and M. Jones, Rapid object detection using a boosted cascade of simple features, in Computer Vision and Pattern Recognition, CVPR Proceedings of the 2001 IEEE Computer Society Conference on, vol. 1. IEEE, 2001, pp. I 511. [18] R. Brunelli, Template matching techniques in computer vision: theory and practice. Wiley, [19] G. Shepherd and D. Kruglinski, Programming with Microsoft Visual C++. NET: Core Reference. Microsoft Pr, [20] G. Bradski, The opencv library, Dr. Dobb s Journal of Software Tools, 2000.