Detecção de padrões de leitura com baixa taxa de amostragem

Transcrição

1 Detecção de padrões de leitura com baixa taxa de amostragem Aluno: Carlos Eduardo Leão Elmadjian Orientador: Prof. Dr. Carlos Hitoshi Morimoto IME-USP

2 Tópicos 2/22

3 Tópicos Introdução 2/22

4 Tópicos Introdução Características da leitura 2/22

5 Tópicos Introdução Características da leitura Baixa taxa de amostragem 2/22

6 Tópicos Introdução Características da leitura Baixa taxa de amostragem Algoritmos de detecção 2/22

7 Tópicos Introdução Características da leitura Baixa taxa de amostragem Algoritmos de detecção Algoritmo proposto 2/22

8 Tópicos Introdução Características da leitura Baixa taxa de amostragem Algoritmos de detecção Algoritmo proposto Avaliação 2/22

9 Tópicos Introdução Características da leitura Baixa taxa de amostragem Algoritmos de detecção Algoritmo proposto Avaliação Resultados 2/22

10 Tópicos Introdução Características da leitura Baixa taxa de amostragem Algoritmos de detecção Algoritmo proposto Avaliação Resultados Aplicações 2/22

11 Introdução Motivação 3/22

12 Introdução Motivação Aplicações para computação vestível ENGADGET.COM 3/22

13 Introdução Motivação Consumo de energia ANDROIDCOMMUNITY.COM Aplicações para computação vestível ENGADGET.COM 3/22

14 Introdução Consumo de energia Qualidade das interações ANDROIDCOMMUNITY.COM Aplicações para computação vestível ENGADGET.COM MAKEUSEOF.COM Motivação Nova mensagem! Leiame! Atualização! Urgente! 3/22

15 Introdução Por que a leitura? 4/22

16 Introdução Por que a leitura? Uma das interações mais frequentes Jogando ou baixando jogos, imagens, filmes, música Acessando o banco Usando serviços de viagem ou acomodação Lendo notícias, jornais ou revistas Procurando informações sobre produtos e serviços Mandando ou lendo s FONTE: Office for National Statistics Reino Unido 4/22

17 Introdução Por que a leitura? Uma das interações mais frequentes Jogando ou baixando jogos, imagens, filmes, música Acessando o banco Usando serviços de viagem ou acomodação Lendo notícias, jornais ou revistas Procurando informações sobre produtos e serviços Mandando ou lendo s FONTE: Office for National Statistics Reino Unido 4/22

18 Introdução Por que a leitura? Uma das interações mais frequentes Indicativo de atividade primária Jogando ou baixando jogos, imagens, filmes, música Acessando o banco Usando serviços de viagem ou acomodação Lendo notícias, jornais ou revistas Procurando informações sobre produtos e serviços Mandando ou lendo s FONTE: Office for National Statistics Reino Unido 4/22

19 Introdução Por que a leitura? Uma das interações mais frequentes Indicativo de atividade primária Feedback de relevância Jogando ou baixando jogos, imagens, filmes, música Acessando o banco Usando serviços de viagem ou acomodação Lendo notícias, jornais ou revistas Procurando informações sobre produtos e serviços Mandando ou lendo s FONTE: Office for National Statistics Reino Unido 4/22

20 Características da leitura Comportamento típico 5/22

21 Características da leitura Comportamento típico Fixações de 200 a 300 ms fixação 5/22

22 Características da leitura Comportamento típico Fixações de 200 a 300 ms Sacadas curtas à direita sacada fixação 5/22

23 Características da leitura Comportamento típico Fixações de 200 a 300 ms Sacadas curtas à direita Regressões em transições de linha regressão sacada fixação 5/22

24 Características da leitura Processamento de informações 6/22

25 Características da leitura Processamento de informações Supressão sacádica NVIDIA.COM 6/22

26 Características da leitura Processamento de informações Supressão sacádica NVIDIA.COM 6/22

27 Características da leitura Processamento de informações Supressão sacádica Visão foveada NVIDIA.COM Cristalino Pupila Vasos Fóvea Mácula Córnea Íris Anatomia do olho CC Bruce Blausen 6/22

28 Características da leitura Processamento de informações Supressão sacádica Visão foveada Acuidade limitada NVIDIA.COM Cristalino Pupila Vasos Fóvea Mácula Córnea Íris Anatomia do olho CC Bruce Blausen 6/22

29 Baixa taxa de amostragem Como rastrear esse comportamento? 7/22

30 Baixa taxa de amostragem Como rastrear esse comportamento? Câmera infravermelho PUPIL-LABS.COM 7/22

31 Baixa taxa de amostragem Como rastrear esse comportamento? Câmera infravermelho Processamento de imagens do olho PUPIL-LABS.COM 7/22

32 Baixa taxa de amostragem Como rastrear esse comportamento? Câmera infravermelho Processamento de imagens do olho Função de calibração para superfície PUPIL-LABS.COM 7/22

33 Baixa taxa de amostragem PUPIL-LABS.COM Como rastrear esse comportamento? Câmera infravermelho Processamento de imagens do olho Função de calibração para superfície Problema: alto custo computacional 7/22

34 Baixa taxa de amostragem PUPIL-LABS.COM Como rastrear esse comportamento? Câmera infravermelho Processamento de imagens do olho Função de calibração para superfície Problema: alto custo computacional Solução: redução da taxa de amostragem 7/22

35 Baixa taxa de amostragem Mas se a taxa for baixa... 8/22

36 Baixa taxa de amostragem Mas se a taxa for baixa... Movimentos não rastreados 8/22

37 Baixa taxa de amostragem Mas se a taxa for baixa... Movimentos não rastreados Calibração com baixa acurácia 8/22

38 Baixa taxa de amostragem Mas se a taxa for baixa... Movimentos não rastreados Calibração com baixa acurácia Aliasing 8/22

39 Algoritmos de detecção Ideias gerais 9/22

40 Algoritmos de detecção Ideias gerais Filtragem dos pontos do olhar 9/22

41 Algoritmos de detecção Ideias gerais Filtragem dos pontos do olhar Identificação dos movimentos 9/22

42 Algoritmos de detecção Ideias gerais Filtragem dos pontos do olhar Identificação dos movimentos Tokenização + pontuação 9/22

43 Algoritmos de detecção Ideias gerais Filtragem dos pontos do olhar Identificação dos movimentos Tokenização + pontuação Somatória de evidências 9/22

44 Algoritmos de detecção Ideias gerais Filtragem dos pontos do olhar Identificação dos movimentos Tokenização + pontuação Somatória de evidências Mudança de estado 9/22

45 Algoritmos de detecção Mas com frequência baixa... Filtragem dos pontos do olhar Identificação dos movimentos Tokenização + pontuação Somatória de evidências Mudança de estado 10/22

46 Algoritmos de detecção Mas com frequência baixa... Filtragem dos pontos do olhar não há amostras suficientes Identificação dos movimentos Tokenização + pontuação Somatória de evidências Mudança de estado 10/22

47 Algoritmos de detecção Mas com frequência baixa... Filtragem dos pontos do olhar não há amostras suficientes Identificação dos movimentos não é possível diferenciá-los Tokenização + pontuação Somatória de evidências Mudança de estado 10/22

48 Algoritmo proposto Conceitos principais 11/22

49 Algoritmo proposto Conceitos principais Quociente diferencial entre amostras 11/22

50 Algoritmo proposto Conceitos principais Quociente diferencial entre amostras Janela de quocientes 11/22

51 Algoritmo proposto Conceitos principais Quociente diferencial entre amostras Janela de quocientes Máquina de estados 11/22

52 Algoritmo proposto Conceitos principais Quociente diferencial entre amostras Janela de quocientes Máquina de estados Somatória de evidências 11/22

53 Algoritmo proposto Conceitos principais Quociente diferencial entre amostras Janela de quocientes Máquina de estados Somatória de evidências Mudança de estado 11/22

54 Algoritmo proposto Conceitos principais Quociente diferencial entre amostras Janela de quocientes Máquina de estados Somatória de evidências Mudança de estado A mesma ideia dos anteriores 11/22

55 Algoritmo proposto Como funciona? 12/22

56 Algoritmo proposto Como funciona? Quociente diferencial é robusto a taxas baixas 30 Hz 10 Hz 5 Hz 12/22

57 Algoritmo proposto Como funciona? Quociente diferencial é robusto a taxas baixas Sacadas se tornam picos limiarizáveis 30 Hz 10 Hz 5 Hz 12/22

58 Algoritmo proposto Como funciona? 13/22

59 Algoritmo proposto Como funciona? Máquina de estados atribui pontuações regressão Sacada à direita /22

60 Algoritmo proposto Como funciona? Máquina de estados atribui pontuações Aliasing se torna irrelevante regressão Sacada à direita /22

61 Avaliação Experimento com leitores 14/22

62 Avaliação Experimento com leitores 9 participantes 14/22

63 Avaliação Experimento com leitores 9 participantes 45 textos aleatórios curtos 14/22

64 Avaliação Experimento com leitores 9 participantes 45 textos aleatórios curtos 45 imagens aleatórias (controle) 14/22

65 Avaliação Experimento com leitores 9 participantes 45 textos aleatórios curtos 45 imagens aleatórias (controle) Coleta a 30 Hz e subamostragem a posteriori 14/22

66 Avaliação Experimento com leitores 9 participantes 45 textos aleatórios curtos 45 imagens aleatórias (controle) Coleta a 30 Hz e subamostragem a posteriori Questionário para nível de compreensão 14/22

67 Avaliação Experimento com leitores 9 participantes 45 textos aleatórios curtos 45 imagens aleatórias (controle) Coleta a 30 Hz e subamostragem a posteriori Questionário para nível de compreensão Comparação com Campbell e Maglio (2001) e Buscher et al. (2008) 14/22

68 Resultados Sensibilidade 15/22

71 Resultados Especificidade 18/22

74 Aplicações Prova de conceito 21/22

75 Aplicações Prova de conceito Aplicação web 21/22

76 Aplicações Prova de conceito Aplicação web Reconhecimento de leitura como mediação de estados indicador de estado 21/22

77 Aplicações Prova de conceito Aplicação web Reconhecimento de leitura como mediação de estados Leitura ferramentas de auxílio e bloqueio de mensagens indicador de estado marcador tradução de termos autorrolagem 21/22

78 Aplicações Prova de conceito Aplicação web Reconhecimento de leitura como mediação de estados Leitura ferramentas de auxílio e bloqueio de mensagens Sem leitura interação convencional 21/22

79 Referências Bridgeman, Bruce, Derek Hendry, and Lawrence Stark. "Failure to detect displacement of the visual world during saccadic eye movements." Vision research 15.6 (1975): Buscher, Georg, Andreas Dengel, and Ludger van Elst. "Eye movements as implicit relevance feedback." In CHI'08 extended abstracts on Human factors in computing systems, pp ACM, Campbell, Christopher S., and Paul P. Maglio. "A robust algorithm for reading detection." In Proceedings of the 2001 workshop on Perceptive user interfaces, pp ACM, ONS / Relatório de atividades na internet 2014: Rayner, Keith. "Eye movements in reading and information processing: 20 years of research." Psychological bulletin 124, no. 3 (1998): 372. Shannon, Claude E. "Communication in the presence of noise." Proceedings of the IRE 37, no. 1 (1949): /22