RELATÓRIO TÉCNICO - CIENTÍFICO. Título do Projeto de Pesquisa (ao qual está vinculado o Plano de Trabalho ): Sobre o uso de

Transcrição

1 UNIVERSIDADE FEDERAL DO PARÁ PRÓ-REITORIA DE PESQUISA E PÓS-GRADUAÇÃO DIRETORIA DE PESQUISA PROGRAMA INSTITUCIONAL DE BOLSAS DE INICIAÇÃO CIENTÍFICA PIBIC : CNPq, CNPq/AF, UFPA, UFPA/AF, PIBIC/INTERIOR, PRODOUTOR, PIBIT E FAPESPA RELATÓRIO TÉCNICO - CIENTÍFICO Período : 08/2016 a 08/2017 (X) PARCIAL ( ) FINAL IDENTIFICAÇÃO DO PROJETO Título do Projeto de Pesquisa (ao qual está vinculado o Plano de Trabalho ): Sobre o uso de modelos de atenção visual em sistemas de rastreamento de olhar: impactos sobre custo e desempenho Nome do Orientador: Ronaldo de Freitas Zampolo Titulação do Orientador: Doutor Faculdade : Faculdade de Engenharia da Computação e Telecomunicações FCT Instituto/Núcleo: Instituto de Tecnologia - ITEC Laboratório: Laboratório de Processamento de Sinais - LaPS Título do Plano de Trabalho : Estratégias para uso de modelos de atenção visual em sistemas de eye/gaze-tracking Nome do Bolsista: Mateus da Mota Cardoso da Cruz Tipo de Bolsa : ( ) PIBIC/ CNPq ( ) PIBIC/CNPq AF ( ) PIBIC /CNPq- Cota do pesquisador ( ) PIBIC/UFPA ( X ) PIBIC/UFPA - AF ( ) PIBIC/ INTERIOR ( ) PIBIC/PRODOUTOR ( ) PIBIC/PE-INTERDISCIPLINAR

2 ( ) PIBIC/FAPESPA ( ) PIBIC/PIBIT RESUMO: Rastreadores de olhar são essencialmente dispositivos usados para medir movimentos oculares. Tomando parte em aplicações atuais importantes, que incluem pesquisa sobre processos cognitivos, estudos clínicos, publicidade, interação humano-computador, dentre outras, o desempenho de tais sistemas de rastreamento está relacionado a limiares e parâmetros dependentes do ambiente de utilização e que são otimizados durante a fase de calibração antes da operação propriamente dita. Assim, sistemas comerciais de rastreamento de olhar devem sua eficiência ou a equipamentos de aquisição de imagem de alto custo e qualidade, ou a condições de operação altamente controladas. Como resultado desse cenário, esforços recentes na área têm se concentrado no desenvolvimento de novas estratégias com o objetivo de tornar as condições de uso mais flexíveis e reduzir o custo do aparato necessário sem que haja diminuição dos níveis de desempenho. Esta proposta de pesquisa trata da adaptação de modelos de atenção visual em sistemas de rastreamento de olhar, como abordagem para (1) melhorar a relação geral de compromisso entre custo e desempenho e (2) melhorar a acurácia na estimativa do ponto de olhar (PoR, do inglês point of regard ) para uma dada configuração de hardware. Comparações entre a abordagem proposta e outras estratégias concorrentes para diferentes cenários de aplicação serão realizadas. Análises de dados considerarão principalmente os aspectos relacionados à complexidade computacional e a acurácia do PoR estimado para cada uma das estratégias testadas. INTRODUÇÃO: Os resultados das pesquisas sobre a associação de modelos de atenção visual (MAV) a sistemas de eye/gaze tracking podem conferir mais qualidade às atuais soluções de baixo custo, mais conforto ao usuário e permitir mais ampla popularização dos recursos de eye/gaze tracking. Contudo, uma dificuldade encontrada é a definição de uma metodologia e a obtenção de dados de referência que permitam avaliar os eventuais ganhos de desempenho de tal associação. O presente plano de trabalho pretende abordar esse desafio, em primeiro lugar, mediante a formação um banco de dados que forneça um conjunto de sinais de referência que permita comparar o desempenho de diferentes associações eye/gaze tracking MVAs. Uma vez formado tal banco de sinais de referência, pode-se investigar tanto o impacto de variadas estratégias para associar MVAs, quanto o efeito de diferentes MVAs no desempenho das associações. O referido banco de dados deve ser formado pelas imagens do usuário, capturadas por uma webcam convencional, cronograma de exibição das imagens de teste, imagens de teste, e PoRs obtidos simultaneamente por sistema de eye/gaze tracking de boa qualidade. A avaliação de desempenho das associações é feita mediante comparação com os PoRs obtidos pelo sistema de boa qualidade para cada usuário testado. Os resultados esperados, além da formação do banco de sinais de referência, consitem na elaboração de variados esquemas de associação eye/gaze tracking MVAs e na correspondente comparação de desempenho. JUSTIFICATIVA: O plano de trabalho proposto está inserido em projeto de pesquisa que investiga a associação eye/gaze tracking MVAs com o objetivo de aprimoramento de qualidade de soluções de baixo-custo. Melhoramentos nesse sentido permitirão maior popularização de recursos de eye/gaze tracking com repercursões significativas, por exemplo, em aplicações de crowdsourcing e na elaboração de interfaces de facilitação de uso de sistemas computacionais para deficientes.

3 OBJETIVOS: Objetivo geral: Investigar diferentes abordagens para adaptar modelos de atenção visual em sistemas de eye-tracking Objetivos específicos: a) adquirir conhecimentos introdutórios em modelos de atenção visual e sistemas de eyetracking; b) formar banco de dados experimentais que permita avaliar os sistemas propostos; c) realizar estudo comparativo sobre o desempenho de diferentes modelos de atenção visual e diferentes estratégias de uso de tais modelos em sistema de eye/gaze tracking. MATERIAIS E MÉTODOS: O trabalho será desenvolvido no Laboratório de Processamento de Sinais (LaPS) da Universidade Federal do Pará, que oferece a toda infraestrutura necessária para a execução das atividades previstas neste plano de trabalho. O plano de trabalho será realizado em ciclos de estudo e prática. A intenção é que o bolsista, tão logo seja possível, coloque em prática os conhecimentos adquiridos pelo estudo de material específico, mediante implementação de uma função ou rotina a ser aproveitada posteriormente. As implementações serão feitas em linguagem Python sempre que possível e em C++ sempre que necessário. O acompanhamento das atividades do bolsista será feito mediante reuniões periódicas com o professor orientador. RESULTADOS : O sistema de rastreamento comercial utilizado para estimar a direção do olhar (PoR) é produzido pela empresa sueca Tobii, líder de mercado no ramo de tecnologias aplicadas ao rastreamento de olhar e controle pelo olhar, chamado EyeX. O fabricante fornece junto com o equipamento uma biblioteca em C/C++ para acesso e controle de algumas de suas funcionalidades, como, por exemplo, a leitura do tempo de captura em milisegundos (timestamp). As limitações da biblioteca fornecida não permitem o desenvolvimento de aplicações baseadas no equipamento. O suporte ao uso do equipamento é feito mediante tutorial de instalação e configuração do ambiente de programação disponibilizado no site do EyeX. O ambiente de programação mencionado é atrelado ao Microsoft Visual Studio (ambiente de desenvolvimento integrado, IDE, de programação), não permitindo a configuração do ambiente em outras IDEs. Além disso, a documentação das funções da biblioteca proveniente da Tobii é escassa de informações concretas sobre os parâmetros usados nas funções dos códigos exemplos disponibilizados e de como utilizar tais funções. Diante de tais circunstâncias, foram realizadas as configurações padrão que se encontram no tutorial da empresa para instalação do rastreador e configuração da biblioteca em C/C++ para aquisição dos dados. Posteriormente foi alterado o código exemplo que acompanha o dispositivo através das bibliotecas padrão com o objetivo de salvar os dados em um arquivo.txt. Os dados adquiridos a partir do dispositivo de rastreamento correspondem à interseção da direção do olhar com o monitor do computador, ou seja, as coordenadas, bem como o timestamp da referida amostra. Também foi utilizada a biblioteca opensource de visão computacional OpenCV para fazer a aquisição em vídeo do rosto do usuário via webcam convencional. Para montar o experimento com os sinais de estímulo foi utilizada a biblioteca PsychoPy do Python, entretanto o experimento ainda está em fase de elaboração e aperfeiçoamento. A concepção do experimento compreende os serguintes passos: serão mostradas para o usuário algumas imagens que possuem características semelhantes entre si, tais como resolução e qualidade visual; cada uma das imagens é exibida de maneira centralizada na tela de fundo cinza uniforme, sem alteração de suas dimensões originais, por um certo período de tempo, após o que são sucedidas por outra imagem participante do conjunto de teste; durante as transições entre imagens de teste, o monitor ficará totalmente cinza por breves instantes; enquanto as imagens são mostradas, dados de rastreamento e o vídeo do usuário são

4 coletados. Foram encontradas dificuldades para unir os códigos responsáveis pela aquisição dos dados de rastreamento ocular (implementado em C) e pela gravação do rosto do usuário via webcam (implementado em C++), através da linguagem Python que foi usada como linguagem de cola, chamando funções pré-compiladas de outras linguagens. Para resolução desse problema foi necessário utilizar como artifício a geração de arquivos executáveis (.exe ) para os códigos de aquisição do rastreador e da câmera e fazer a chamada no código do experimento no momento em que fossem mostradas as imagens e ao final do experimento, com o ID (número de identificação) do processo, fechar a execução dos mesmos, impedindo de continuar com a gravação dos dados. Para associar os PoR gravados com os frames de vídeo capturados com as imagens do usuário, faz-se necessário a utilização de uma base de tempo única para avaliação das latências e assim fazer a associação entre PoRs, imagens de teste e imagens do usuário. Essa etapa é muito importante para casos em que a análise dos dados seja offline, em outras palavras, que não seja realizado em tempo real. Foi necessário estudar se o timestamp advindo do EyeX era do próprio dispositivo ou do processador do computador. Verificou-se que a biblioteca de controle do EyeX faz acesso a registrador de 64 para obtenção do tempo de captura do PoR. Face a dificuldades no uso da função leitura do registrador de tempo de captura, a mesma foi substituída por outra implementada para C/C++ pela Microsoft para ler o relógio do computador com precisão em milisegundos e assim utilizá-lo como base de tempo para sincronização dos sistemas de aquisição de dados (PoR e imagens do usuário). Figura 1.: Bancada para realização do experimento de coleta de dados contendo o computador, a webcam e o aparelho de rastreamento de olhar da Tobii. PUBLICAÇÕES: Nenhuma publicação realizada até o presente momento. ATIVIDADES A SEREM DESENVOLVIDAS NOS PRÓXIMOS MESES Terminar o protocolo experimental e realizar o experimento de coleta de dados com diversos usuários; organizar implementação em repositporio digital on line (GitHub); fazer a análise dos dados de acordo com a metodologia escolhida; implementar rastreador de olhar e usá-lo para estimar os PoRs pelos frames do video coletado de cada usuário durante o experimento, a fim de de comparar com os dados de rastreamento do aparelho da tobii e dos resultados obtidos com o mesmo.

5 CONCLUSÃO: Foram realizadas as atividades relacionadas à construção de conhecimento através da pesquisa bibliográfica, definição de quase todo o protocolo experimental como: escolha dos sinais de estímulos, preparação do software de automatização do experimento para coleta de dados. REFERÊNCIAS BIBLIOGRÁFICAS Ibrahim Ince, Jin Kim. A 2D eye gaze estimation system with low-resolution webcam images, EURASIP Journal on Advances in Signal Processing (2011) Jonathan Harel, Christof Koch, Pietro Perona. Graph-bases visual saliency, Neural information processing systems (2006) Dan Witzner Hansen, Qiang Ji. In the eye of the beholder: a survey of models for eyes and gaze, IEEE transactions on pattern analysis and machine intelligence (2010) Kenneth Holmqvist, Marcus Nyström, Fiona Mulvey. Eye tracker data quality, Proceedings of the Symposium on Eye Tracking Research and Applications - ETRA '12 (2012) Olivier Le Meur, Zhi Liu. Saccadic model of eye movements for free-viewing condition, Vision Research (2015) Yusuke Sugano, Yasuyuki Matsushita, Yoichi Sato. Calibration-free gaze sensing using saliency maps, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (2010) Yusuke Sugano, Yasuyuki Matsushita, Yoichi Sato. Appearance-based gaze estimation using visual saliency, IEEE Transactions on Pattern Analysis and Machine Intelligence (2013) Jixu Chen, Qiang Ji. 3D gaze estimation with a single camera without IR illumination, th International Conference on Pattern Recognition (2008) Jixu Chen, Qiang Ji. A Probabilistic Approach to Online Eye Gaze Tracking Without Personal Calibration, IEEE Transactions on Image Processing (2015) DIFICULDADES No projeto faz-se o uso de várias linguagens de programação como C, C++ e Python. A biblioteca proveniente da Tobii para o dispositivo de rastreamento de olhar é limitada para a aquisição dos dados e não para desenvolvimento, além da documentação não abordar aspectos importantes para o desenvolvimento e manuseio das funções e de como utilizá-las em código. Somente é possível trabalhar com uma IDE (Microsoft Visual Studio), e a parte de sincronia dos dados, que demandou tempo, para achar a melhor solução, pois não foi possível fazer a leitura do timestamp do registrador que o aparelho da tobii utiliza no código de gravação do rosto do usuário via webcam. PARECER DO ORIENTADOR: o bolsista vem desempenhando as tarefas previstas no plano de trabalho com responsabilidade, dedicação e assiduidade satisfatórias.

6 No tocante à aquisição de conhecimentos específicos na área sob estudo, o bolsista apresenta evolução habilitando-se gradativamente, como já tem feito, à leitura de artigos pertencentes ao estado-daarte publicados em conferências e periódicos especializados. Percebe-se no aluno amadurecimento técnico compatível com o período de atividade e bom potencial ainda a desenvolver. Em termos gerais, o orientador encontra-se satisfeito com o trabalho desenvolvido e julga o texto deste relatório expressivo no sentido de descrever as atividades no período considerado. DATA : 24/02/2017 ASSINATURA DO ORIENTADOR ASSINATURA DO ALUNO INFORMAÇÕES ADICIONAIS: Em caso de aluno concluinte, informar o destino do mesmo após a graduação. Informar também em caso de alunos que seguem para pós-graduação, o nome do curso e da instituição.