DEPARTAMENTO DE INFORMÁTICA CURSO DE CIÊNCIA DA COMPUTAÇÃO. Rafael Rodrigues Viana

Transcrição

1 DEPARTAMENTO DE INFORMÁTICA CURSO DE CIÊNCIA DA COMPUTAÇÃO Rafael Rodrigues Viana DESENVOLVIMENTO DE MODELO DE INFERÊNCIA DE CONHECIMENTO BASEADO NAS EXPRESSÕES FACIAIS E NOS COMPORTAMENTOS OBSERVÁVEIS Santa Cruz do Sul 2015

2 Rafael Rodrigues Viana DESENVOLVIMENTO DE MODELO DE INFERÊNCIA DE CONHECIMENTO BASEADO NAS EXPRESSÕES FACIAIS E NOS COMPORTAMENTOS OBSERVÁVEIS Trabalho de Conclusão de Curso II apresentado ao Curso de Ciência da Computação da Universidade de Santa Cruz do Sul para obtenção parcial do título de Bacharel em Ciência da Computação. Orientadoras: Profª. Me. Marcia Elena Jochims Kniphoff da Cruz Profª. Dra. Rejane Frozza Santa Cruz do Sul 2015

3 RESUMO O aprendizado, por um longo período de tempo, contou somente com a razão como base para seu desenvolvimento, contudo estudos comprovam que a emoção é parte essencial para o processo da construção do conhecimento. Sistemas computacionais compreendem, hoje, recursos para auxiliar no reconhecimento de emoções em seres humanos, através das expressões faciais, por exemplo. Neste sentido, este trabalho objetivou analisar emoções, capturadas através de expressões faciais e analisadas pelo software FaceReader, juntamente com os comportamentos observáveis de estudantes, através do uso de um ambiente virtual de aprendizagem. Sobre estes dados foi proposto um modelo de inferência de aquisição do conhecimento considerando o desempenho nos exercícios. Como referencial teórico este trabalho apresenta definições de emoções, modelos de emoções básicas e métodos de reconhecimento de emoções através de computadores ou dispositivos eletrônicos. As emoções, resultantes das expressões faciais, e os comportamentos observáveis, resultantes da interação com um ambiente virtual de aprendizagem, foram capturados com o uso de um software de captura de tela e da imagem da webcam. Estes dados foram tratados e relacionados, mostrando quais emoções ocorreram durante a realização de cada comportamento observável. Este trabalho permitiu, além da criação do modelo de inferência, a análise de quais comportamentos e emoções que foram mais importantes no processo de construção do conhecimento. Palavras-chave: Ambientes virtuais de aprendizagem, redes neurais artificiais, expressões faciais, comportamentos observáveis.

4 ABSTRACT Learning, for a long time, had only reason as basement for its development, but studies prove emotion is an essential part in the process of the construction of knowledge. Currently, computational systems have resources to aid emotion recognition in humans, through facial expressions, for example. In this respect, this work wants to analyze the emotions, captured through facial expressions and analyzed by FaceReader software, together with student s observable behaviors in a virtual learning environment. Using these data was proposed a model for inference the construction of knowledge considering the exercise performance. As theoretical framework this work introduces definitions of emotion, basic emotions models, and techniques to recognize emotions through computers or electronic devices. The emotions, from facial expressions, and observable behavior, from the interaction with a virtual learning environment, were recorded using a screen recorder s software and with the webcam. These data were treated and related to show which emotions happened during each observable behavior. This work allowed, besides the creation of a model for inference, the analysis of which behaviors and emotions were more important in the process of the construction of knowledge. Keywords: Virtual Learning Environment, artificial neural networks, facial expressions, observable behaviors.

5 LISTA DE SIGLAS AU Action Unit AVA Ambiente de Aprendizagem Virtual BDI Belief, Desire, Intention FACS Facial Action Coding System FP Fisher Projection IDE Integrated Development Environment KNN K-Nearest Neighbors RNA Rede Neural Artificial SDK Software Development Kit SFFS Sequential Floating Forward Search STI Sistema Tutor Inteligente SVM Support Vector Machine

6 LISTA DE FIGURAS Figura 1 - Áreas de pesquisa da computação afetiva Figura 2 Principais teorias para representação de emoções e seus principais autores Figura 3 Fluxo de avaliação de emoção de acordo com a teoria appraisal Figura 4 Diagrama OCC Figura 5 Ferramenta de ensino de algoritmos Figura 6 Fluxo da ferramenta com os recursos de apoio ao aluno Figura 7 Exemplos de animação do agente PAT Figura 8 Execução dos algoritmos em um quadro de vídeo Figura 9 Estrutura da rede neural RNA-EMO Figura 10 Exemplos de sinais fisiológicos raiva (esquerda) e tristeza (direita) Figura 11 Padrões de postura corporal Figura 12 Tela inicial do AVA desenvolvido pelo grupo de pesquisa da UNISC Figura 13 Caixa de diálogo para o estudante selecionar o seu estado emocional atual Figura 14 Ambiente de aprendizado MetaTutor Figura 15 Tela inicial do AVA da Unisc Figura 16 Página com conteúdo sobre direção preventiva Figura 17 Síntese da metodologia do trabalho Figura 18 Imagem do Camtasia Studio Figura 19 Interface do FaceReader Figura 20 Estrutura de um projeto no FaceReader Figura 21 Arquivo TXT com incidência de emoções frame por frame Figura 22 Arquivo TXT com as mudanças de estados emocionais Figura 23 Resumo das emoções capturadas pelo FaceReader para cada participante Figura 24 Ferramenta para auxiliar o registro do comportamentos observáveis... 57

7 Figura 25 Registro de comportamento observável Figura 26 Modelagem do banco de dados Figura 27 Formato do arquivo de emoções Figura 28 Emoção de cada participante para cada comportamento no ambiente Figura 29 Perceptron multi-camadas (MLP) Figura 30 Modelo de RNA para resolução exercício 3 da aula Figura 31 Emoções durante a leitura do texto da página 1, da aula Figura 32 Emoções durante a audição do áudio da página 1, da aula Figura 33 Emoções durante a leitura do texto da página 2, da aula Figura 34 Emoções durante a audição do áudio da página 2, aula Figura 35 Emoções durante a leitura do texto da página 1, da aula Figura 36 Emoções durante a audição do áudio da página 1, da aula Figura 37 Emoções durante a leitura do texto da página 2, da aula Figura 38 Emoções durante a visualização do vídeo da aula Figura 39 Emoções durante o exercício 1, da aula Figura 40 Emoções durante o exercício 2, da aula Figura 41 Emoções durante o exercício 3, da aula Figura 42 Emoções durante o exercício 4, da aula Figura 43 Emoções durante o exercício 5, da aula Figura 44 Emoções durante a visualização do aproveitamento dos exercícios da aula Figura 45 Emoções durante a leitura do texto da página 1, da aula Figura 46 Emoções durante a audição do áudio da página 1, da aula Figura 47 Emoções durante a leitura do texto da página 2, da aula Figura 48 Emoções durante a audição do áudio da página 2, da aula Figura 49 Emoções durante a leitura do texto da página 3, da aula Figura 50 Emoções durante a audição do áudio da página 3, da aula

8 Figura 51 Emoções durante a visualização do vídeo da aula Figura 52 Emoções durante o exercício 1 da aula Figura 53 Emoções durante o exercício 2 da aula Figura 54 Emoções durante o exercício 3 da aula Figura 55 Emoções durante o exercício 4 da aula Figura 56 Emoções durante a visualização do aproveitamento dos exercícios da aula Figura 57 Emoções durante a leitura do texto da página 1, da aula Figura 58 Emoções durante a audição do áudio da página 1, da aula Figura 59 Emoções durante a leitura do texto da página 2, da aula Figura 60 Emoções durante a visualização do vídeo da aula Figura 61 Emoções durante o exercício 1 da aula Figura 62 Emoções durante o exercício 2 da aula Figura 63 Emoções durante o exercício 3 da aula Figura 64 Emoções durante o exercício 4 da aula Figura 65 Emoções durante o exercício 5 da aula Figura 66 Emoções durante a visualização do aproveitamento dos exercícios da aula Figura 67 Emoções durante a leitura do texto da página 1, da aula Figura 68 Emoções durante a audição do áudio da página 1, da aula Figura 69 Emoções durante a leitura do texto da página 2, da aula Figura 70 Emoções durante a visualização do vídeo da aula Figura 71 Emoções durante o exercício 1 da aula Figura 72 Emoções durante o exercício 2 da aula Figura 73 Emoções durante o exercício 3 da aula Figura 74 Emoções durante o exercício 4 da aula Figura 75 Emoções durante a visualização do aproveitamento dos exercícios da aula

9 LISTA DE TABELAS Tabela 1 Diferentes modelos de emoções básicas Tabela 2 Emoções básicas, segundo (EKMAN, FRIESEN e ELLSWORTH, 1982) Tabela 3 Resultado da precisão das emoções Tabela 4 Descrição dos estados das características faciais Tabela 5 Trabalhos desenvolvidos no AVA Tabela 6 Descrição dos dados do gráfico apresentado na figura Tabela 7 Estrutura do arquivo de estados emocionais do FaceReader Tabela 8 Aproveitamento dos participantes nos exercícios Tabela 9 Fonte de conteúdo para resolução de exercício Tabela 10 Comportamentos e emoções do exercício 3 da aula Tabela 11 Comportamentos e emoções do exercício 4 da aula Tabela 12 Comportamentos e emoções do exercício 1 da aula Tabela 13 Comportamentos e emoções do exercício 1 da aula Tabela 14 Comportamentos e emoções do exercício 3 da aula Tabela 15 Comportamentos e emoções do exercício 4 da aula Tabela 16 Comportamentos e emoções do exercício 5 da aula Tabela 17 Comportamentos e emoções do exercício 1 da aula Tabela 18 Comportamentos e emoções do exercício 2 da aula Tabela 19 Comportamentos e emoções do exercício 4 da aula

10 SUMÁRIO 1 INTRODUÇÃO REFERENCIAL TEÓRICO Emoções: definição e contexto Computação afetiva: estado da arte Modelos de emoções básicas Teorias de emoções MÉTODOS DE RECONHECIMENTO DE EMOÇÕES Reconhecimento através de comportamentos observáveis Ensino de algoritmos: Detecção de Estado Afetivo de Frustração para apoio ao Processo de Aprendizagem (IEPSEN, 2013) Avaliando a efetividade de um agente pedagógico animado emocional (JAQUES, JAQUES e LEHMANN, 2008) Reconhecimento através de expressões faciais Um Sistema de Reconhecimento de Expressões Faciais para Apoiar um Ambiente Virtual de Aprendizagem (DINIZ et al., 2013) Classificação de emoções básicas através de imagens capturadas em vídeos de baixa resolução (OLIVEIRA e JAQUES, 2013) Reconhecimento através de sinais fisiológicos Emotion Recognition system using short-term monitoring of physiological signals (KIM, BANG e KIM, 2004) Toward Machine Emotional Intelligence: Analysis of Affective Physiological State (PICARD, VYZAS e HEALEY, 2001) Reconhecimento através de postura corporal Automated Posture Analysis for Detecting Learner s Interest Level (MOTA e PICARD, 2003) Tabela comparativa dos métodos de reconhecimento estudados... 38

11 4 TRABALHOS RELACIONADOS Aspectos emocionais e cognitivos de estudantes em ambientes virtuais de aprendizagem (SCHERER, 2014) A multi-componential analysis of emotion during complex learning with an intelligent multi-agent system (HARLEY et al., 2015) Considerações METODOLOGIA Estudo de caso Coleta de dados Tratamento das expressões faciais Tratamento dos comportamentos observáveis RESULTADOS E DISCUSSÕES Combinação da análise das expressões faciais com os comportamentos observáveis Redes Neurais Artificiais Modelo de inferência da aquisição do conhecimento CONCLUSÃO REFERÊNCIAS ANEXO A ATRIBUTOS DE COMPORTAMENTO OBSERVÁVEL ANEXO B GRÁFICOS DE EMOÇÕES PARA COMPORTAMENTO NO AMBIENTE... 86

12 12 1 INTRODUÇÃO O processo de construção do conhecimento é uma questão a ser mais estudada junto a ambientes virtuais de aprendizagem, visando melhorias no processo de aprendizagem através de interação. As emoções são essenciais para um aprendizado mais eficaz, pois refletem estados de motivação ou desânimo dos estudantes, que podem ser capturados e analisados pelo ambiente virtual durante as interações. Não há uma definição única do que é uma emoção, já que ela foi definida de maneiras diferentes por autores, como (SCHERER, 2000), (LAZARUS, 1991) e (DAMASIO, 1996). Mas, a importância dela para os processos cognitivos, como a construção do conhecimento, é destacada em diversos trabalhos, como (IZARD, 1984), (DAMASIO, 1996), (PIAGET, 1986) e (VYGOTSKY, 1986). Ao observar a importância da emoção em vários aspectos da vida, como no aprendizado e nas tomadas de decisões, pesquisadores da área de Inteligência Artificial iniciaram estudos sobre maneiras de inserir a emoção em sistemas computacionais, já que, por exemplo, com o reconhecimento das expressões faciais causadas por emoções, os sistemas podem se adaptar às características cognitivas dos usuários. A partir disso, surgiu uma nova área de pesquisa na Inteligência Artificial, denominada de Computação Afetiva, que se divide em duas linhas de pesquisa: o reconhecimento das emoções do usuário e a expressão/simulação de emoções por máquinas. Neste trabalhou, se utilizou do reconhecimento das emoções do usuário. O reconhecimento das emoções pode ser feito através de diferentes métodos, os mais utilizados são: reconhecimento das expressões faciais (DINIZ et al., 2013) e (OLIVEIRA e JAQUES, 2013), uso de sinais fisiológicos (como batimentos cardíacos, condutividade da pele, tensão dos músculos) (KIM, BANG e KIM, 2004) e (PICARD, VYZAS e HEALEY, 2001), ou, através de comportamentos observáveis (ações do usuário no sistema) (IEPSEN, 2013) e (JAQUES, JAQUES e LEHMANN, 2008). Neste trabalho, optou-se pelo reconhecimento das emoções através das expressões faciais. As expressões faciais foram analisadas com o software FaceReader 1 que retorna as emoções: alegria, tristeza, surpresa, medo, nojo, raiva ou neutro. Essas 1

13 13 informações foram combinadas com as informações das ações dos usuários sobre o sistema, como: tempo que ficou na página de conteúdo, número de erros e acertos nas questões, se visualizou vídeo da aula, entre outras variáveis de uso do sistema. A combinação dessas informações permitiu uma análise da influência dos comportamentos observáveis e das emoções durante a aquisição do conhecimento, assim como, a proposta de um modelo para relacionar os comportamentos e emoções que mais impactam neste processo. Desta maneira, é possível usar estas informações para incentivar o estudante, como, por exemplo, quando estiver com um estado emocional negativo pode-se incentivá-lo positivamente, ou quando estiver com um estado emocional positivo podese parabenizá-lo. O reconhecimento foi realizado para fazer inferências sobre a experiência de estudantes em ambientes virtuais de aprendizagem (AVA). De acordo com o Ministério da Educação, ambientes virtuais de aprendizagem são: programas que permitem o armazenamento, a administração e a disponibilização de conteúdos no formato Web. Dentre esses, destacam-se: aulas virtuais, objetos de aprendizagem, simuladores, fóruns, salas de batepapo, conexões a materiais externos, atividades interativas, tarefas virtuais (webquest), modeladores, animações, textos colaborativos (wiki). (BRASIL, 2007). Os ambientes virtuais de aprendizagem se tornaram uma ferramenta importante no processo de ensino-aprendizagem, possibilitando uma interação mais intensa entre estudantes e professores, com a troca de informações e comunicação realizadas no ambiente. Desta forma, o objetivo principal foi desenvolver um modelo de inferência de conhecimento, por meio da análise das expressões faciais e dos comportamentos observáveis dos usuários na sua interação com ambiente virtual de aprendizagem. Para realizar este trabalho, consideraram-se os seguintes objetivos específicos: Estudar modelos que consideram as emoções possíveis de serem expressas. O objetivo foi trabalhar com as emoções que influenciam o processo de aprendizagem e que podem ser detectadas. Estudar e utilizar o ambiente virtual de aprendizagem do projeto de pesquisa vinculado ao Departamento de Informática da UNISC (FROZZA et al.,

14 ); (FROZZA et al., 2011), (SILVA et al., 2010), (SCHREIBER et al., 2010), (BORIN et al., 2012), (GRIESANG, 2013). Estudar trabalhos relacionados ao uso da análise de emoções, a partir das expressões faciais e de comportamentos observáveis em ambientes virtuais de aprendizagem, assim como, as técnicas utilizadas. Analisar o modelo de classificação facial - FACS (EKMAN e FRIESEN, 1978): Este modelo analisa expressões faciais humanas, conforme os movimentos dos músculos da face. Estudar e utilizar o software FaceReader para a detecção de expressões faciais. Desenvolver um modelo de inferência de conhecimento baseado nas expressões faciais e nos comportamentos observáveis, a fim de relacionar a emoção e o conhecimento resultante dos exercícios, por meio da técnica de rede neural artificial. Analisar o modelo de inferência desenvolvido. O texto está organizado da seguinte forma: O capítulo 2 aborda o referencial teórico referente aos estudos realizados sobre emoções; o capítulo 3 descreve os principais métodos para reconhecimento de emoções juntamente com trabalhos realizados; o capítulo 4 apresenta trabalhos relacionados; o capítulo 5 apresenta a metodologia utilizada; o capítulo 6 demonstra o desenvolvimento do trabalho por meio da análise das expressões faciais e dos comportamentos observáveis resultantes da interação com ambiente virtual de aprendizagem; por fim, são apresentadas as conclusões e trabalhos futuros.

15 15 2 REFERENCIAL TEÓRICO Este capítulo apresenta os conceitos relativos às emoções, suas definições conforme alguns autores e a sua importância para processos cognitivos. Também é descrita a área da Computação Afetiva, a definição de emoções básicas segundo os principais autores e os principais modelos para representar as emoções sistematicamente. 2.1 Emoções: definição e contexto De acordo com (SCHERER, 2000) a emoção é um episódio breve, com uma alta intensidade inicial, mas que vai diminuindo até desaparecer, e, é disparada através de um evento externo (comportamento de outra pessoa, por exemplo) ou de um evento interno (uma sensação, por exemplo). A emoção é definida também por outros autores, entre eles (LAZARUS, 1991) e (DAMASIO, 1996). Trabalhos de psicólogos e neurologistas têm destacado a importância da emoção (afetividade) em atividades cognitivas, como, por exemplo, o aprendizado. Os trabalhos de (IZARD, 1984) mostram que emoções negativas induzidas prejudicam o desempenho em tarefas cognitivas, e emoções positivas aumentam este desempenho. Também (DAMASIO, 1996) propõe uma separação das emoções em iniciais primárias e adultas secundárias. As emoções primárias se referem a estímulos do ambiente que, primeiramente, geram uma resposta emocional e em sequência ativam um estado cognitivo; já as emoções secundárias são iniciadas por pensamentos cognitivos e, então, ocorre uma resposta física com o entendimento do evento, como, por exemplo, encontrar um amigo que não encontra há muito tempo. Segundo Damásio, a emoção exerce um papel importante na tomada de decisões. Ele verificou que pessoas com lesões cerebrais em regiões relacionadas com as emoções perdiam a capacidade de tomar decisões. Pesquisadores da área da educação também acreditam no papel da afetividade na aprendizagem, de acordo com (PIAGET, 1989) certamente a afetividade ou sua privação podem ser a causa de aceleração ou atraso no desenvolvimento cognitivo, por exemplo, estudantes que possuem dificuldades em matemática, não possuem um melhor desempenho por um bloqueio afetivo. E (VYGOTSKY, 1986) concluiu que as

16 16 emoções fazem parte ativa no funcionamento mental geral. Devido a este importante papel da afetividade na aprendizagem, pesquisadores têm estudado técnicas de Inteligência Artificial, de modo a tornar os sistemas computacionais personalizados também aos estados afetivos do usuário. Assim, a Computação Afetiva tornou-se uma nova área de pesquisa da Computação. 2.2 Computação afetiva: estado da arte Computação afetiva é a computação que está relacionada com o que surge de, ou deliberadamente influencia as emoções (PICARD, 1997). Os estudos nesta área estão divididos em duas grandes áreas: o reconhecimento das emoções do usuário e a expressão/simulação de emoções por máquinas, conforme apresentado na figura 1. Figura 1. Áreas de pesquisa da computação afetiva. Fonte: (JAQUES e VICARI, 2005b). A primeira área de estudos da Computação Afetiva, o reconhecimento das emoções do usuário, é importante para que os sistemas computacionais possam se adaptar ao estado emocional atual de cada usuário. Por exemplo, em ambientes virtuais de aprendizagem quando um estudante erra um exercício ele pode ficar frustrado e desistir da atividade. Ao identificar esta frustração o sistema pode recomendar outro exercício similar com um grau de dificuldade menor ou um vídeo com uma explicação complementar à questão, a fim de auxiliar o usuário em sua frustração e não deixá-lo desistir das atividades propostas. De acordo com a teoria de emoções appraisal (SCHERER, 1999), as pessoas podem expressar emoções diferentes a partir do mesmo estímulo, ou seja, enquanto um estudante está assistindo a um vídeo de matemática e feliz por estar conseguindo entender o assunto que antes não entendia, outro pode estar assistindo a este mesmo

17 17 vídeo de matemática e confuso com tantas fórmulas que ele não entende. Por isso, segundo (JAQUES e VICARI, 2005b) é importante que os sistemas computacionais, além do histórico cognitivo do estudante, mantenham um histórico afetivo, para atingir uma maior precisão no reconhecimento das emoções e tomar melhores decisões, considerando o histórico de cada estudante. A outra grande área de estudo da Computação Afetiva é a síntese das emoções, ou seja, permitir que máquinas expressem emoções similares às humanas. Os principais estudos desta área têm sido para a criação de robôs sociáveis. Mas, também têm sido aplicados na área de educação para o desenvolvimento de agentes pedagógicos. Esses agentes são normalmente personagens modelados em 3D que estão disponíveis nos ambientes virtuais de aprendizagem. Segundo (IZARD, 1984), tutores humanos que expressam emoções mantêm seus estudantes mais motivados. Estes tutores virtuais são chamados de agentes pedagógicos, já que desempenham a função de acompanhar os estudantes durante a utilização do ambiente virtual, além de sugerir atividades e motivá-los a continuar no processo de interação. Diversos agentes pedagógicos já foram criados com diferentes finalidades, entre eles pode-se citar: a DÓRIS (FROZZA et al., 2009), a PAT (JAQUES e VICARI, 2005a) e o VINCENT (PAIVA e MACHADO, 1998). 2.3 Modelos de emoções básicas Para desenvolver os trabalhos nesta área, é necessário definir quais são as emoções abordadas. Diversos pesquisadores criaram modelos de emoções básicas, como (FRIDJA, 1986; EKMAN, FRIESEN e ELLSWORTH 1982; IZARD, 1971), entre outros, como apresentado na tabela 1.

18 18 Tabela 1. Diferentes modelos de emoções básicas. Referência ARNOLD, EKMAN, FRIESEN e ELLSWORTH, FRIJDA, GRAY, IZARD, JAMES, McDOUGALL, OATLEY e JOHNSON-LAIRD, PANKSEPP, PLUTCHIK, TOMKINS, WATSON, WEINER e GRAHAM, Emoções fundamentais (básicas) Raiva, aversão, coragem, desânimo, desejo, desespero, medo, ódio, esperança, amor, tristeza. Raiva, nojo, medo, alegria, tristeza e surpresa. Desejo, felicidade, interesse, surpresa, admiração, tristeza. Fúria, terror, ansiedade, alegria. Raiva, desprezo, nojo, aflição, culpa, interesse, alegria, vergonha e surpresa. Raiva, aflição, amor, fúria. Raiva, nojo, júbilo, fúria, submissão, admiração. Dor e prazer. Expectativa, raiva, fúria e pânico. Aceitação, raiva, antecipação, nojo, alegria, tristeza e surpresa. Raiva, interesse, desprezo, nojo, aflição, alegria, vergonha e surpresa. Raiva, amor e fúria. Felicidade e tristeza. Fonte: (ORTONY e TURNER, 1990). Para este trabalho, serão utilizadas como emoções básicas as definidas por (EKMAN, FRIESEN e ELLSWORTH, 1982), os quais propõem um modelo de emoções baseado nas expressões faciais. Ele estudou fotos de tribos que ainda não haviam tido contato com outras culturas e pôde constatar seis emoções básicas universais, descritas na tabela 2.

19 19 Tabela 2. Emoções básicas, segundo (EKMAN, FRIESEN e ELLSWORTH, 1982) Emoção Figura Descrição Raiva Alegria Surpresa As sobrancelhas estão abaixadas e contraídas de maneira que linhas verticais aparecem entre as sobrancelhas. Os lábios estão comprimidos firmemente ou abertos de forma tensa ou como se fosse um quadrado. Pálpebras tensas produzindo um olhar duro. Sobrancelha e testa relaxadas. Bochechas levantadas produzindo enrugamento abaixo das pálpebras inferiores. Os cantos dos lábios levemente repuxados e um enrugamento de cada lado do nariz até os cantos dos lábios. A intensidade da emoção é amplificada se os lábios estão separados expondo os dentes. Sobrancelhas levantadas e curvadas. Olhos amplamente abertos com a pálpebra superior levantada e a inferior para baixo. A mandíbula caída, mas os lábios estão relaxados.

20 20 Nojo As sobrancelhas estão abaixadas, enquanto a pálpebra inferior está levantada, reduzindo a quantidade de olho visível e nariz enrugado. As bochechas estão levantadas. O lábio superior fica levantado, e o inferior pressionando o superior. Tristeza Medo Os cantos internos das sobrancelhas estão levantados produzindo enrugamento horizontal na testa. Os cantos internos das pálpebras superiores estão levantados.produzindo um V invertido, enrugado. Os cantos dos lábios estão abaixados e/ou os lábios estão tremendo. As sobrancelhas estão levantadas com os lados internos juntos. Olhos bem abertos com a pálpebra superior levantada e a inferior tensa e ligeiramente levantada. Fonte: (EKMAN, FRIESEN e ELLSWORTH 1982) Esta lista de emoções básicas foi expandida, incluindo emoções positivas e negativas que não estão inteiramente codificadas nas expressões faciais: diversão, desprezo, contentamento, constrangimento, excitação, culpa, orgulho, alívio, satisfação e vergonha em (EKMAN, 1999).

21 Teorias de emoção Historicamente, diversos modelos foram criados na tentativa de sistematizar o surgimento de emoções e seus comportamentos associados. No trabalho de (MARSELLA, GRATCH e PETTA, 2010), os autores descrevem os principais modelos criados para representar as emoções computacionalmente e seus autores. A Figura 2 apresenta as principais teorias estudadas para a criação destes modelos e seus principais autores. Figura 2. Principais teorias para representação de emoções e seus principais autores Fonte: Elaborado pelo autor Na teoria dimensional das emoções, um dos modelos propostos por (MEHRABIAN e RUSSEL, 1974) é chamado de PAD (Pleasure-Arousal-Dominance), no qual os estados emocionais podem ser representados em três dimensões ortogonais, as quais representam: Prazer (uma medida de valência): Por exemplo, raiva e medo são emoções negativas, logo terão alta pontuação nesta escala; diferente da emoção de alegria que é uma emoção positiva. Excitação (indica a intensidade da emoção): Por exemplo, raiva e tédio são duas emoções negativas, porém a raiva tem uma intensidade maior do que o tédio. Domínio (uma medida de poder de controle): Por exemplo, raiva e medo são duas emoções negativas, porém a raiva é uma emoção dominante, e o medo é uma emoção submissa. Em (TAO et al., 2008), os autores propõem um modelo computacional para trabalhar com a teoria dimensional PAD. Já a teoria anatômica, também descrita em (MARSELLA, GRATCH E PETTA, 2010), são os estudos conduzidos por neurologistas que com o uso do avanço dos

22 22 recursos de imagens cerebrais têm estudado as conexões neurológicas das estruturas do cérebro e as emoções. Os experimentos de (LEDOUX, 1996) mostraram que a emoção pode acontecer sem processamento cognitivo no córtex. De acordo com as evidências mostradas nestes experimentos, ele acredita que a amígdala é o principal componente do cérebro no processamento de emoções, sendo responsável pela avaliação da percepção de appraisal. Antônio Damásio é outro autor que também trouxe grandes contribuições para esta linha de pesquisa, pois apresenta em seus livros, como (DAMASIO, 1996), texto explicativo sobre as funções cognitivas, emocionais e neurológicas que incidem sobre a consciência, descrevendo casos de pacientes acompanhados durante tratamento; indica e descreve os locais, no sistema nervoso, nos quais estas diferentes funções ocorrem. Em (ARMONY et al., 1997) os autores demonstram um modelo computacional usando a teoria evidenciada pelos experimentos no processamento de emoções de LeDoux. A teoria psicológica de emoções appraisal é a teoria que mais tem sido estudada no projeto de sistemas de computação afetiva de acordo com (MARSELLA, GRATCH e PETTA, 2010). Nesta teoria, conforme (SCHERER, 1999), acredita-se que as emoções são geradas e diferenciadas a partir da avaliação (appraisal) subjetiva de uma situação ou de um acontecimento. Esses padrões de avaliação são associados com reações comportamentais e psicológicas. Por exemplo, ao chegar o primeiro dia de aula, uma pessoa pode sentir-se alegre por reencontrar os amigos, enquanto, outra pode se sentir preocupada por estar em uma escola diferente. Uma reação emocional de um agente é iniciada com um evento inicial que é avaliado juntamente com um estado emocional anterior, assim como as entradas providas pelo ambiente. Um aspecto importante desta teoria é que indivíduos podem reagir de maneiras diferentes a um mesmo evento. A Figura 3 apresenta o fluxo de avaliação de emoção, que inicia por um estímulo e, então, é avaliada (appraisal) para constituir-se na emoção. Figura 3. Fluxo de avaliação de emoção de acordo com a teoria appraisal. Fonte: Elaborado pelo autor.

23 23 A maior parte dos trabalhos desenvolvidos usando esta teoria se concentra em fazer um relacionamento estrutural entre as variáveis de avaliação (appraisal) e as emoções geradas. Os modelos derivados desta teoria enfatizam as variáveis de avaliação como o processo central a ser modelado. Eles são tipicamente modelados como a causa de uma emoção através de regras de decisão do tipo se <condição> então <ação> nas variáveis de avaliação. Um dos modelos mais utilizados em trabalhos na área da computação afetiva, é o modelo OCC (ORTONY, CLORE e COLLINS, 1988), que segundo (JAQUES e VICARI, 2005b) avalia três aspectos para fazer a avaliação da emoção: eventos, agentes e objetos. Os eventos são as percepções do agente sobre um estímulo; os agentes são aqueles que recebem o estímulo seja uma pessoa, um animal ou qualquer outro objeto inanimado; e os objetos são coisas vistas como objetos inanimados. Estes eventos podem ser interpretados de maneira diferente de acordo com a intensidade do estímulo. Este modelo pode ser usado para o reconhecimento de emoções do usuário, assim como para a síntese de emoções em máquinas. Este modelo é baseado na abordagem cognitiva das emoções e é possível de ser implementado computacionalmente, já que fornece informações de como construir uma interpretação de uma situação, do ponto de vista do usuário, e para qual emoção esta interpretação nos leva. Este modelo permite inferir 22 emoções, conforme apresentado na Figura 4. Por exemplo, segundo (JAQUES e VICARI, 2005b) define-se a emoção de alegria quando uma pessoa se agrada com um evento desejável e a tristeza quando está em desagrado com um evento indesejável.

24 24 Figura 4. Diagrama OCC Fonte: (NETO, 2010, traduzida de ORTONY, CLORE e COLLINS, 1988). Trabalhos, como dos autores (JAQUES e VICARI, 2005a; FROZZA et al., 2011; SILVA e BERNARDI, 2009) foram desenvolvidos usando o modelo OCC como base. Este capítulo apresentou definições de emoção e uma lista de modelos de emoções básicas propostas ao longo do tempo. A partir destes estudos, se escolheu as emoções usadas neste trabalho, as quais foram descritas e ilustradas na tabela 2. Também, apresentou modelos computacionais que permitem a representação de emoções computacionalmente. E, introduziu a área da computação afetiva que tem como uma de suas linhas de pesquisa o reconhecimento de emoções. Os principais métodos para o reconhecimento de emoções serão demonstrados no capítulo 3.

25 25 3 MÉTODOS DE RECONHECIMENTO DE EMOÇÕES Este capítulo apresenta os principais métodos utilizados para o reconhecimento de emoções em sistemas computacionais e alguns trabalhos realizados para cada método de reconhecimento. Ao final, é apresentado um comparativo, com as emoções analisadas, algoritmos utilizados e a taxa de reconhecimento alcançada em cada um dos trabalhos descritos. 3.1 Reconhecimento através de comportamentos observáveis Esta seção apresenta trabalhos desenvolvidos para o reconhecimento de emoções na temática de comportamentos observáveis, que segundo (BERCHT, 2001) são todas as ações do usuário sobre o sistema que colaboram para determinar o seu comportamento Ensino de Algoritmos: Detecção de Estado Afetivo de Frustração para apoio ao Processo de Aprendizagem (IEPSEN, 2013) Este trabalho teve como objetivo melhorar o ensino de algoritmos a estudantes, a partir da identificação do estado de frustração durante a realização de exercícios, de modo a intervir e manter o estudante motivado. Para isso, foi criada uma ferramenta que representa um ambiente de apoio à aprendizagem de algoritmos com funções de edição, de programação e coleta dos comportamentos observáveis oriundos da interação do estudante com o sistema. A ferramenta foi desenvolvida em PHP com banco de dados MySQL, e, converte o pseudocódigo digitado pelo estudante para Java para ser avaliado. A figura 5 mostra a tela inicial de trabalho da ferramenta.

26 26 Figura 5. Ferramenta de ensino de algoritmos Fonte: (IEPSEN, 2013). A partir do uso da ferramenta pelos estudantes de duas turmas de Algoritmos e Lógica de Programação do curso de Análise e Desenvolvimento de Sistemas da Faculdade de Tecnologia SENAC Pelotas, foi possível identificar padrões nos dados capturados pelos usuários para reconhecer o estado afetivo de frustração. Os testes com a ferramenta foram realizados em duas fases. Nas primeiras aulas os estudantes tinham o botão Estou Frustrado no canto superior direito da tela inicial, conforme mostrado na figura 5. Este botão era clicado quando o estudante se sentia frustrado durante o uso da ferramenta de aprendizagem. Todos os dados do uso da ferramenta de aprendizagem foram analisados para identificar padrões de comportamentos anteriores ao clique do botão Estou Frustrado. Para a análise de dados foi usada a técnica de classificação de dados baseada em regras. Um classificador baseado em regras é uma técnica para classificar registros usando um conjunto de regras do tipo se <condição> então <ação>. Esse classificador tem como objetivo encontrar algum relacionamento entre os atributos e uma classe, gerando uma regra. Assim, o processo de classificação permite, posteriormente, utilizar esta regra para predizer a classe de um novo registro. Para a construção das regras foram utilizadas as seguintes características capturadas durante o uso da ferramenta de aprendizagem: número de compilações com erro, número total de erros, tempo entre o início e a última compilação do programa, número de programas anteriores sem solução (sem compilação correta) e número de compilações sem erros de sintaxe.

27 27 Esta análise apontou alguns dos principais motivos de frustração dos estudantes, como: elevado número de compilações com erros, elevado número total de erros encontrados, elevado tempo para a resolução de um programa, entre outros. A partir destas regras geradas, modificou-se o programa para as aulas seguintes. Em uma segunda fase, no lugar do botão de Estou Frustrado foram inseridos botões de apoio com a resolução do problema ou a escolha de um programa com nível de complexidade menor, quando, de acordo com as regras, o programa percebia que o estudante encontrava-se frustrado. A figura 6 apresenta o fluxo de funcionamento da ferramenta de aprendizagem. Figura 6. Fluxo da ferramenta com os recursos de apoio ao estudante. Fonte: (IEPSEN, 2013) O autor comenta ao final que observou uma pequena melhora nos testes realizados pelos estudantes após o uso desta ferramenta de aprendizagem. Porém, o autor do trabalho não comentou qual foi a taxa de reconhecimento da ferramenta para o estado de ânimo estudado Avaliando a efetividade de um agente pedagógico animado emocional (JAQUES, JAQUES e LEHMANN, 2008) As autoras comentam que para que o sistema possa se adaptar à afetividade do estudante, é necessário que ele possa reconhecer as suas emoções. Por exemplo, quando o estudante encontra-se frustrado com seu desempenho, ele vai provavelmente

28 28 abandonar a tarefa que está sendo realizada. Assim, o ambiente precisa intervir e evitar a sua desmotivação e saída do ambiente de aprendizagem. O objeto de estudo do trabalho é o agente animado PAT, cujo objetivo principal é fornecer suporte emocional ao estudante, motivando-o, encorajando-o a acreditar em suas próprias habilidades. A figura 7 mostra exemplos de animação do agente PAT. Figura 7. Exemplos de animação do agente PAT Fonte: (JAQUES, JAQUES e LEHMANN, 2008) Para determinar a melhor tática afetiva a aplicar e o melhor momento para intervir, foi proposto um modelo que infere seis emoções (alegria, tristeza, vergonha, orgulho, admiração e reprovação) baseando-se na teoria OCC (ORTONY, CLORE e COLLINS, 1988) e utilizando-se o modelo BDI (Belief-Desire-Intention) descrito inicialmente em (BRATMAN, 1990). Este modelo é usado na construção de agentes inteligentes e permite conhecer as razões que dispararam uma emoção. O reconhecimento das emoções é fundamentado psicologicamente no modelo cognitivo de emoções OCC, que fornece informações de como construir uma interpretação de uma situação do ponto de vista do usuário e com qual emoção esta interpretação está relacionada. Segundo (JAQUES e NUNES, 2012) a ideia principal dos trabalhos que empregam modelos psicológicos baseados em appraisal, ou seja, modelos que acreditam que as emoções são geradas a partir de avaliações subjetivas de um acontecimento, é usar a informação fornecida pelo modelo psicológico para construir uma interpretação de uma situação do ponto de vista do usuário e raciocinar sobre qual emoção esta interpretação leva. Por exemplo, para inferir a emoção feliz, de acordo com o modelo OCC, o sistema raciocina sobre o aspecto desejável de um evento em relação

29 29 aos objetivos do estudante. Se o estudante tem o objetivo de agradar os pais, então obter uma boa nota em um exercício é um evento desejável (situação), pois ele promove seus objetivos e, desta maneira, dispara emoções positivas como felicidade. Foi realizada a avaliação com 39 estudantes da 7ª série, a fim de verificar o impacto do uso do agente no desempenho dos estudantes. Os resultados apontaram para a efetividade do suporte emocional do desempenho dos estudantes, porém não foi demonstrada a taxa de reconhecimento destas emoções inferidas. 3.2 Reconhecimento através de expressões faciais Segundo (PICARD, VYZAS e HEALEY, 2001), o reconhecimento de emoções através de expressões faciais é o método que mais tem sido estudado para o reconhecimento automático de emoções e o que mais tem obtido progresso. O reconhecimento de emoções através de expressões faciais baseia-se, principalmente, no sistema psicológico de codificação FACS (Facial Action Coding System), descrito em (EKMAN e FRIESEN, 1978) que descreve 32 AUs (unidades de ação Action Units), que consistem na contração ou relaxamento de um ou mais músculos da face, que combinados podem representar diferentes emoções. Esta seção apresenta trabalhos desenvolvidos na temática de expressões faciais para o reconhecimento de emoções Um Sistema de Reconhecimento de Expressões Faciais para Apoiar um Ambiente Virtual de Aprendizagem (DINIZ et al., 2013) Neste trabalho foi desenvolvido um sistema para o reconhecimento de emoções a partir de expressões faciais de estudantes durante o uso de ambientes virtuais de aprendizagem. Foram reconhecidas as emoções de alegria, tristeza, raiva e nojo, cujas emoções fazem parte do conjunto de emoções básicas descrito em (EKMAN, FRIESEN e ELLSWORTH, 1982). O funcionamento do sistema está dividido em quatro etapas: captura da imagem, extração de características da face, classificação da expressão facial e inferência da emoção. Inicialmente, captura-se a imagem do estudante com o dispositivo Kinect (MICROSOFT RESEARCH, 2011), que captura os quadros do frame de vídeo de 5 em 5 segundos (tempo predefinido pelo autor). Estes frames de vídeo capturados são usados como entrada para a segunda etapa,

30 30 que é a extração dos pontos de interesse da face (boca, sobrancelhas, olhos e nariz). Para esta extração foram utilizados os algoritmos Viola-Jones (VIOLA e JONES, 2001) para a detecção da face e o CANDIDE-3 (AHLBERG, 2001) para encontrar os pontos característicos da face. Ambos podem ser implementados com o uso do kit de desenvolvimento do Kinect. Estes algoritmos foram escolhidos, pois atingem um nível aceitável de reconhecimento e são rápidos. A figura 8 mostra a execução dos algoritmos Viola-Jones e CANDIDE-3 ao lado direito, e no lado esquerdo a extração dos pontos de interesse. Figura 8. Execução dos algoritmos em um quadro de vídeo. Fonte: (DINIZ et al., 2013) Com os pontos característicos da face mapeados, é necessário realizar a associação destas características com as expressões faciais. Para isso, é utilizado o sistema psicológico de classificação facial FACS (EKMAN e FRIESEN, 1978). Neste modelo, as características extraídas da face são mapeadas de acordo com o modelo FACS para a criação de AUs. Por exemplo, a AU1 é a sobrancelha externa direita, a AU2 é a sobrancelha externa esquerda, e assim por diante. Estas unidades de ação estão descritas em (EKMAN e FRIESEN, 1978). Por último, com estas unidades de ação mapeadas, utiliza-se a combinação delas para a inferência de emoções. Por exemplo, a emoção alegria é indicada a partir da aparição das unidades de ação principais AU6, AU12 e secundárias AU25, AU26 e A16. Estas relações entre unidades de ação e emoção estão descritas em (EKMAN e FRIESEN, 1978). Os testes foram realizados, em tempo real, com 10 estudantes do curso de medicina da Universidade do Estado do Rio Grande do Norte (UERN). Cada indivíduo simulou 20 emoções (5 emoções de tristeza, 5 emoções de alegria, 5 emoções de raiva e 5 emoções de nojo). No total foram recolhidas 200 expressões realizadas por estes

31 31 usuários. Este experimento resultou nas taxas de reconhecimento, conforme descritas na tabela 3. Tabela 3. Resultado da precisão das emoções Emoção Taxa de acerto Alegria 90% Tristeza 82% Nojo 80% Raiva 90% Fonte: (DINIZ et al., 2013). Essa emoção reconhecida é usada na entrada de um ambiente virtual de aprendizagem, que é composto por agentes de software que auxiliam na aplicação correta da teoria da Aprendizagem Baseada em Problema, estratégia pedagógica na qual um caso é exposto pelo docente e os estudantes identificam o problema, investigam, debatem e produzem possíveis soluções ou justificativas, ou seja, em vez do conhecimento passado pelo professor ele é construído juntamente com o estudante, a fim de oferecer maior motivação e entusiasmo nos processos de aprendizagem do estudante. Segundo (SEBE, LEW e HUANG, 2004) a média do reconhecimento de emoções faciais feitos por humanos é de aproximadamente 85% de precisão, e que alguns algoritmos obtém sucesso entre 74% e 98% Classificação de emoções básicas através de imagens capturadas em vídeos de baixa resolução (OLIVEIRA e JAQUES, 2013) Neste trabalho, os autores utilizaram uma rede neural artificial como classificador de emoção em tempo real para classificar as emoções básicas de (EKMAN, FRIESEN e ELLSWORTH, 1982): alegria, repulsa, tristeza, raiva, surpresa e medo, além do estado neutro. Como em (DINIZ et al., 2013), este trabalho também está dividido em quatro etapas: captura da imagem, extração de características faciais, classificação da expressão facial e inferência da emoção. O primeiro passo é capturar a imagem do usuário utilizando uma webcam diferente de (DINIZ et al., 2013), o qual utilizou o

32 32 Kinect. Após capturada a imagem, é detectada a face com o algoritmo de Viola-Jones (VIOLA e JONES, 2001), isso ocorre em todo frame até detectar a face. Alguns filtros são aplicados a esta imagem para facilitar as transformações matemáticas que encontrarão os pontos extremos da face. Esses pontos são as coordenadas de ações faciais, que de acordo com (EKMAN e FRIESEN, 1978), quando combinadas formam AUs. Diferente de (DINIZ et al., 2013), no qual o mapeamento é direto das unidades de ação com a emoção representada, de acordo com regras pré-definidas pelo manual FACS, em (OLIVEIRA e JAQUES, 2013), a classificação das emoções básicas é realizada por uma rede neural tipo multi-layer perceptron feed-forward com algoritmo de aprendizado IRPROP. A rede construída, chamada de RNA-EMO, demonstrada na figura 9, possui 17 neurônios em sua entrada correspondente aos estados das características faciais (Tabela 4). Ela possui, também, duas camadas ocultas de 25 neurônios cada uma, além de uma saída contendo 07 neurônios (emoções básicas + neutra). Essa configuração foi a que apresentou o melhor resultado de classificação, sendo genérica o suficiente para obter as maiores taxas de classificação, considerando a base de faces utilizada. Tabela 4. Descrição dos estados das características faciais Elemento Estados e da característica facial Descrição dos estados 1 sobrancelha externa direita movimento vertical do ponto 1 2 sobrancelha externa esquerda movimento vertical do ponto 4 3 sobrancelha interna direita movimento vertical do ponto 2 4 sobrancelha interna esquerda movimento vertical do ponto 3 5 distância entre sobrancelhas distância euclidiana entre pontos 2 e 3 6 abertura do olho direito distância euclidiana entre pontos 6 e 7 7 abertura do olho esquerdo distância euclidiana entre pontos 10 e 11 8 pálpebra superior direita movimento vertical do ponto 6 9 pálpebra superior esquerda movimento vertical do ponto pálpebra inferior direita movimento vertical do ponto 7 11 pálpebra inferior esquerda movimento vertical do ponto 11

33 33 12 largura da boca distância euclidiana entre pontos 13 e abertura da boca distância euclidiana entre pontos 14 e lábio superior movimento vertical do ponto lábio interior movimento vertical do ponto canto direito da boca movimento vertical do ponto canto esquerdo da boca movimento vertical do ponto 16 Obs: os movimentos verticais são as diferenças dos eixos verticais (xp) dos pontos e centro dos olhos. Fonte: (OLIVEIRA e JAQUES, 2013). A figura 9 mostra a estrutura da rede neural artificial RNA-EMO com os 17 neurônios em sua entrada e os 07 neurônios de saída. Figura 9. Estrutura da rede neural RNA-EMO Fonte: (OLIVEIRA e JAQUES, 2013). A análise do sistema foi realizada utilizando as bases de faces JAFFE 2 (com 213 imagens estáticas com resolução de 256x256 pixels), CK+ 3 (381 sequências de imagens, com resolução de 640x480 pixels) e uma base de imagem própria (30 vídeos de exemplos de emoções básicas, com resoluções de 320x240 e 640x480 pixels). A medida de desempenho foi a taxa de reconhecimento, que corresponde ao número total de exemplos de amostras reconhecidos corretamente dividido pelo número total de exemplos da amostra. A metodologia de estimativa de desempenho utilizada foi a

34 34 holdout, que prevê a utilização de parte da amostra para treinamento e outra parte exclusivamente para teste. A classificação de emoções pelo sistema obteve, como melhor resultado, a taxa de reconhecimento 63,33%. Os resultados do sistema foram influenciados por problemas encontrados, principalmente, na etapa de reconhecimento dos pontos da face. Porém, o desempenho do classificador, isoladamente, apresentou resultados superiores e mais satisfatórios, tendo a rede neural RNA-EMO atingido 89,87% de taxa de reconhecimento durante seus testes. Outro ponto que o autor considera como importante é o tamanho das amostras utilizadas que, por serem poucas, não permite o uso de outra técnica de validação que compense esse fato, como validação cruzada. A validação cruzada, segundo (KOHAVI, 1995) é uma técnica para avaliar a capacidade de generalização de um modelo, ou seja, se este modelo também fará boas predições nos novos conjuntos de dados. 3.3 Reconhecimento através de sinais fisiológicos O reconhecimento de emoções através de sinais fisiológicos utiliza sensores para capturar sinais emitidos pelo corpo, como: batimentos cardíacos, temperatura da pele, respiração, entre outros. Esta seção apresenta trabalhos desenvolvidos na temática de sinais fisiológicos para o reconhecimento de emoções Emotion Recognition system using short-term monitoring of physiological signals (KIM, BANG e KIM, 2004) Este trabalho teve como objetivo desenvolver um sistema para a inferência de emoções através de sinais fisiológicos, que segundo o autor é um meio mais natural para o reconhecimento das emoções do que através de expressões faciais ou por meio da voz. Foram analisadas as emoções de tristeza, raiva, stress e surpresa. O público-alvo testado foi crianças de 5 a 8 anos. Foram usadas bases de dados de sinais fisiológicos de dois grupos de indivíduos. O primeiro grupo era formado por 125 indivíduos de 5 a 8 anos. Experimentos similares foram realizados para construir a outra base de dados, após um ano, e foram usados 50 indivíduos de 7 a 8 anos (já que as crianças de 5 a 6 anos tinham dificuldades em induzir emoções e reportá-las). Nesta segunda base, 33 indivíduos foram escolhidos aleatoriamente para o algoritmo de treinamento e os dados dos restantes foram utilizados para a fase de teste.

35 35 A construção de uma base de dados de alta qualidade dos sinais fisiológicos é vital para o desenvolvimento do algoritmo de reconhecimento de emoção. Um fator importante é a seleção dos sinais que serão usados como entrada. É desejável que a influência da emoção na atividade do sistema nervoso esteja refletida nestes sinais utilizados, já que diferente do reconhecimento de emoções em expressões faciais ou na voz, não há evidências visíveis ao ser humano. Como estavam focados em desenvolver um algoritmo com aplicação prática, foram descartados os usos dos sinais de eletro-encefalograma e sinais de eletromiografia que melhorariam os resultados. Foram usados como sinais de entrada variação da temperatura da pele, atividade eletrodermal e batimentos cardíacos, sinais que podem ser extraídos de eletrocardiogramas (EGC). Eles acreditam que esses sensores podem ser implementados em forma de anel ou relógio que a pessoa pode usar 24 horas por dia sem desconforto para a captura constante destes sinais nos indivíduos. Para a classificação das características de entrada foi utilizado o algoritmo de aprendizado de máquina Support Vector Machine (SVM). Os resultados do algoritmo desenvolvido mostrou uma taxa de reconhecimento correta para a segunda base de dados de 78,43% para o reconhecimento de três categorias de emoções (tristeza, raiva e stress) e 61,76% quando considerando quatro categorias de emoções (tristeza, raiva, stress e surpresa) Toward Machine Emotional Intelligence: Analysis of Affective Physiological State (PICARD, VYZAS e HEALEY, 2001) Neste trabalho foram usados quatro sinais fisiológicos para aprender padrões de um indivíduo por várias semanas. Foram avaliados oito estados (raiva, alegria, ódio, tristeza, amor platônico, amor romântico, reverência e neutro). Estes estados foram escolhidos por facilitarem o estudo da pesquisa. O trabalho não está focado em estudar as oito emoções básicas, mas, sim, conceder a habilidade do computador de reconhecer estados afetivos que podem ser úteis em situações de interações humanas. Os autores comentam que o reconhecimento a partir de sinais fisiológicos normalmente é considerado como invasivo, porque os sensores precisam ter contato fisicamente com as pessoas. Porém, com os avanços da tecnologia tem se desenvolvido sensores cada vez menos incômodos, podendo estar localizados em roupas ou

36 36 acessórios usados pela pessoa, sendo, em alguns casos, menos invasivos do que a própria câmera para o reconhecimento por meio de expressões faciais. Um dos maiores problemas de pesquisa nesta área é distinguir quais padrões fisiológicos estão relacionados com cada emoção. Os movimentos dos músculos poderiam ser equivalentes às expressões faciais, porém podem nem sempre representar um estado emocional. Emoções consistem mais do que apenas tensões musculares. Os dados foram recolhidos de quatro sensores: eletromiograma, pressão sanguínea, respiração e condutividade da pele. A figura 10 apresenta gráficos com exemplos de sinais fisiológicos para as emoções de raiva (esquerda) e tristeza (direita). De cima para baixo os sinais são: eletromiograma (volts), pressão sanguínea (percentual), condutividade da pele (microsiemens) e respiração (percentual máxima expansão). Figura 10. Exemplos de sinais fisiológicos raiva (esquerda) e tristeza (direita). Fonte: (PICARD, VYZAS e HEALEY, 2001). Para a classificação das características de entrada foi utilizado o algoritmo de aprendizado de máquina k Nearest Neighbor (k-nn), usado para classificar objetos que estão mais próximos no espaço de características, com base num conjunto de dados de testes. Atingiu precisão de reconhecimento de 81% para os oito estados. 3.4 Reconhecimento através de postura corporal O reconhecimento de emoções através de postura corporal não é um método muito utilizado, mas é interessante ressaltar o trabalho realizado por (MOTA e PICARD, 2003), no qual é estudada a relação da postura corporal ao sentar-se em uma cadeira durante o uso de um computador com os sinais fisiológicos que eram capturados

37 37 do usuário, para a inferência de emoções Automated Posture Analysis for Detecting Learner s Interest Level (MOTA e PICARD, 2003) Neste trabalho foram coletadas informações de postura de crianças durante o uso do computador. As posturas foram coletadas a partir de sensores colocados na cadeira que avaliam a pressão exercida do corpo sobre a cadeira. A figura 11 mostra alguns dos padrões de postura identificados durante os experimentos. Figura 11. Padrões de postura corporal Fonte: (MOTA e PICARD, 2003). Há uma crença popular que a posição inclinada para frente demonstra interesse, enquanto afundando-se na cadeira indica um sinal de desinteresse. Porém, esta distinção é complicada, porque existem exceções, por exemplo, o estudante pode estar inclinado para frente quando estiver sonolento com a cabeça quase sobre o teclado. Foram mapeadas algumas informações sobre os estados afetivos em função do tempo e algumas ações anteriores que podem ajudar a fazer a predição de um estado futuro para o desenvolvimento de um algoritmo para o reconhecimento automático de afetividade através de mudanças de postura. Esta análise permite que o computador use os comportamentos de postura sob o tempo para classificar o nível de interesse do estudante, ou um novo estado de descansando. Apesar deste último não ser um estado afetivo, ele foi considerado útil para o entendimento do aprendizado dos estudantes. A precisão do algoritmo para o reconhecimento destes três estados (alto interesse, baixo interesse, descansando) não foi perfeita, atingindo entre 72% a 80% de

38 38 precisão. Quanto mais uma pessoa usa este algoritmo, a máquina pode se tornar mais precisa. Ainda não foi estudado o quanto isso pode ser melhorado com o maior uso. Apesar da cadeira não reconhecer os sentimentos internos, provê uma sensibilidade que pode ser útil para o computador. Esta informação foi descoberta como um dos melhores meios de avaliar o interesse do estudante (KAPOOR, PICARD e IVANOV, 2004), e quando combinado com outros métodos, a precisão do reconhecimento pode melhorar (KAPOOR, AHN e PICARD, 2005). 3.5 Tabela comparativa dos métodos de reconhecimento estudados O quadro 1 apresenta uma comparação entre os métodos de reconhecimento estudados, tendo em vista alguns critérios como: emoções inferidas, algoritmos utilizados e taxa de reconhecimento atingida. Quadro 1: Comparação entre trabalhos relacionados Autores Emoções Algoritmo utilizado Taxa de reconhecimento Comportamento observável (IEPSEN, 2013) Frustração. Data Mining, classificador por regras. Não informada. (JAQUES, JAQUES Alegria, tristeza, BDI baseado Não informada, apenas e LEHMANN, vergonha, no modelo informado que o 2008) orgulho, psicológico resultado foi admiração e OCC. satisfatório. reprovação. Expressões faciais (DINIZ et al., 2013) Alegria, tristeza, raiva e nojo. Sistema de codificação facial FACS. Taxas de acerto diferentes para cada emoção: 90% para alegria, 82% para tristeza, 80% para nojo e 90% para raiva.

39 39 (OLIVEIRA e Raiva, medo, Sistema de O desempenho do JAQUES, 2013) repulsa, surpresa, codificação classificador alegria e tristeza. facial FACS + isoladamente foi de Redes Neurais. 89,87%. De uma forma geral, a taxa foi de 63,33%. Sinais fisiológicos (KIM, BANG e KIM, 2004) Tristeza, raiva, stress e surpresa. SVM. 78,43% para o reconhecimento de três categorias de emoções (tristeza, raiva e stress) e 61,76% quando considerando quatro categorias de emoções (tristeza, raiva, stress e surpresa). (PICARD, VYZAS Raiva, alegria, k-nn. Taxa de precisão de e HEALEY, 2001) ódio, tristeza, 81%, em geral. amor platônico, amor romântico, reverência e neutro. Postura corporal (MOTA e PICARD, Alto interesse, Não Taxa de precisão de ) baixo interesse, informado. a 80%. descansando. A partir dos trabalhos estudados que demonstram métodos possíveis para o reconhecimento de emoções, foi possível constatar duas abordagens: uma que utiliza modelos pré-definidos, como OCC (ORTONY, CLORE e COLLINS, 1988) ou FACS (EKMAN e FRIESEN, 1978); e outra com o uso de classificadores que não utilizam ao menos não descrevem em seus trabalhos a utilização de modelos psicológicos.

40 40 As emoções analisadas diferem em cada trabalho, algumas vezes são reconhecidos modelos de emoções básicas, este conjunto de emoções é utilizado principalmente para o reconhecimento através de expressões faciais; já outros trabalhos não se preocupam em utilizar modelos previamente determinados, mas, sim, emoções pertinentes ao contexto, como em (MOTA e PICARD, 2003) cujo reconhecimento através da postura corporal analisa emoções pouco consideradas por autores. É importante salientar que as taxas de reconhecimento, em alguns trabalhos, são questionáveis, já que muitas vezes validam com o ambiente adequado, por exemplo, nas expressões faciais em ambientes controlados ou com o uso de banco de imagens. Há outros métodos de reconhecimento que não foram citados nesta seção, pois não seriam aplicáveis na proposta deste trabalho, que são o reconhecimento de emoções através da fala e da escrita. O reconhecimento de emoção através da escrita seria possível se no ambiente virtual de aprendizagem fosse considerada a interação através de fóruns ou chats. Este capítulo apresentou alguns dos principais métodos de reconhecimento de emoções e trabalhos que os utilizam. Observou-se que a linha de pesquisa do reconhecimento de emoções através de expressões faciais é a que conta com mais trabalhos publicados e a que tem atingido as melhores taxas de reconhecimento. Mas, o reconhecimento através dos comportamentos observáveis também se destaca, principalmente, pelos trabalhos aplicados na área educacional. O reconhecimento através dos sinais fisiológicos, apesar de não aplicado a este trabalho, é interessante, pois se acredita que é um meio menos intrusivo para se capturar dados (por exemplo, as expressões faciais devem ser capturadas em ambientes com boa iluminação), além de conseguir capturar dados em uma sala de aula tradicional, sem o uso de computadores. E o reconhecimento através da postura corporal, apesar de ter sido utilizado em um trabalho isolado, é interessante para demonstrar que o reconhecimento das emoções e comportamentos de estudantes pode ser realizado de maneiras não tradicionais. O capítulo 4 mostrará dois trabalhos relacionados: um com o uso do ambiente virtual de aprendizagem e outro com o uso de mais de um destes métodos para reconhecimento de emoções combinados durante o uso de um AVA.

41 41 4 TRABALHOS RELACIONADOS Este capítulo apresenta trabalhos relacionados especificamente ao tema e objetivo do trabalho proposto para desenvolvimento, considerando os comportamentos observáveis e as emoções para a construção do conhecimento de estudantes em ambientes virtuais de aprendizagem. 4.1 Aspectos Emocionais e Cognitivos de Estudantes em Ambientes Virtuais de Aprendizagem (SCHERER, 2014) No trabalho, a autora estuda a importância da cognição e da emoção para o aprendizado do estudante durante a utilização de um ambiente virtual de aprendizagem. Para identificar a importância destes aspectos na aprendizagem, é necessário conhecer o estado emocional do estudante e seu estilo cognitivo. O ambiente virtual de aprendizagem utilizado foi o ambiente desenvolvido pelo grupo de pesquisa de professores e estudantes do Departamento de Informática e do Programa de Pós-Graduação em Sistemas e Processos Industriais da UNISC. Este ambiente conta com a presença de dois agentes pedagógicos: Dóris (é o agente tutor, que está localizada no canto inferior esquerdo) e Dimi (é o agente companheiro, que está localizado no canto superior direito), conforme mostra a figura 12. Figura 12. Tela inicial do AVA da Unisc. Fonte: (SCHERER, 2014).

42 42 Para reconhecer as emoções dos estudantes durante a utilização do ambiente de aprendizagem, seria utilizado o trabalho de (BOHM, 2011) para fazer o reconhecimento das emoções através das expressões faciais capturadas por uma webcam, porém, devido à baixa taxa de reconhecimento obtida, optou-se por mostrar uma caixa de diálogo ao estudante durante o uso do ambiente virtual para perguntar sobre o estado emocional do estudante, conforme mostra a figura 13. Figura 13. Caixa de diálogo para o estudante selecionar o seu estado emocional atual. Fonte: (SCHERER, 2014). Além do estado emocional, também foi necessário conhecer o estilo cognitivo do estudante. Para reconhecer o estilo cognitivo foi integrado ao ambiente de aprendizagem o trabalho de (FLORES, 2013). No momento de cadastro do estudante no ambiente virtual de aprendizagem, ele responde um questionário e as respostas são avaliadas por uma rede neural artificial que avalia e classifica o estudante de acordo com um dos seis estilos cognitivos: sensorial, intuitivo, ativo, reflexivo, sequencial ou global, definidos em (FELDER e SOLOMAN, 1999). A partir destes aspectos reconhecidos do estudante, estado emocional e estilo cognitivo, o ambiente oferece diferentes táticas de ensino que podem ser alteradas durante a utilização do ambiente para se adaptar e oferecer a melhor maneira de ensino ao estudante. O trabalho foi validado com dois grupos de estudantes (um com 13 estudantes e

43 43 o outro com 7 estudantes) com a temática do Novo Acordo Ortográfico, subsidiando os resultados obtidos através do método clínico de Piaget e o uso de técnicas de Mineração de Dados. Para a mineração destes dados foram usados os algoritmos J48 para a classificação dos dados (é uma alternativa para gerar uma árvore de decisão) e o Apriori para a associação dos dados. 4.2 A Multi-Componential Analysis of Emotion during Complex Learning with an Intelligent Multi-Agent System (HARLEY et al., 2015) Os autores descrevem a metodologia utilizada e os resultados encontrados ao combinar três métodos diferentes de reconhecimento de emoções: através de expressões faciais, de sinais fisiológicos e de um relatório de auto-avaliação do estudante. Para o reconhecimento através das expressões faciais foi utilizado o software FaceReader, para os sinais fisiológicos foi utilizado um bracelete denominado de Q-Sensor 2.0 (AFFECTIVA, 2013), e para o questionário de auto-avaliação foi utilizada a metodologia descrita em (HARLEY, BOUCHET e AZEVEDO, 2013), na qual o estudante descreve a experiência de 19 estados emocionais diferentes. A validação foi realizada com 67 estudantes de graduação de uma universidade norte-americana que interagiram com o MetaTutor, um ambiente de aprendizado inteligente multiagente para o aprendizado sobre o sistema circulatório humano. Cada sessão de uso do ambiente foi de uma hora. A figura 14 apresenta a tela do sistema MetaTutor, indicando alguns elementos. Figura 14. Ambiente de aprendizado MetaTutor Fonte: (PEÑALOSA e CASTAÑEDA, 2008).

44 44 O objetivo principal deste trabalho foi mostrar os desafios existentes na criação de um sistema de reconhecimento de emoção que combina múltiplas formas de reconhecimento, e propor uma metodologia para a resolução destas dificuldades, entre as principais estão: (a) Diferenças na taxa de amostragem dos dados de emoção, por exemplo, taxa de quadros para o reconhecimento facial versus tempos de intervalo para solicitar a resposta de uma auto-avaliação do estudante. (b) Diferenças no tipo de dado capturado, por exemplo, no bracelete os sinais fisiológicos são dados contínuos, enquanto os estados emocionais retornados pelo FaceReader são dados discretos com a emoção dominante. Para validar as metodologias propostas, o autor analisa nos resultados capturados a correlação das emoções reconhecidas pelos métodos de reconhecimento. As emoções reconhecidas pelo FaceReader em comparação com as reconhecidas pelos questionários de auto-avaliação apresentaram uma similaridade em 75,6% dos casos. Os resultados obtidos pelo FaceReader e os do bracelete, que captura sinais fisiológicos, apresentaram similaridade de 60,1%. Já o resultado do questionário de auto-avaliação com os do sensor tiveram apenas 41,9% de similaridade. 4.3 Considerações O trabalho de (SCHERER, 2014) apresenta que as emoções e o estado cognitivo são importantes para o aprendizado, no entanto, não foi usado algum método para reconhecimento de emoções. O estudante respondia, por meio de uma caixa de diálogo, a emoção que estava sentindo no momento da interação com o ambiente. Neste trabalho, em complemento, utiliza-se o reconhecimento das emoções através das expressões faciais, analisadas pelo software FaceReader. Além disso, também foram considerados os comportamentos observáveis. Já o trabalho de (HARLEY et al., 2015) é importante, pois, também, utiliza o software FaceReader para o reconhecimento das emoções de estudantes através das expressões faciais. Além das emoções através das expressões faciais, foram considerados os sinais fisiológicos e questionários de autoavaliação. A metodologia de tratamento dos dados entre diferentes fontes foi importante para o presente trabalho, para relacionarmos os comportamentos observáveis com as emoções. Este capítulo apresentou dois trabalhos relacionados ao que foi desenvolvido

45 45 neste trabalho. O primeiro referente ao ambiente estudado e a utilidade para o grupo de pesquisa e o segundo referente às técnicas utilizadas para o agrupamento de dados de diferentes fontes e escalas. O capítulo 5 demonstrará as técnicas utilizadas para a coleta de dados dos participantes durante o uso do ambiente virtual de aprendizagem e a criação dos dados de emoções e comportamentos observáveis.

46 46 5 METODOLOGIA Este capítulo apresenta as técnicas utilizadas neste trabalho para a captura dos comportamentos observáveis e das expressões faciais dos usuários durante o uso de um ambiente virtual de aprendizagem (AVA). 5.1 Estudo de Caso O AVA utilizado para o desenvolvimento e validação deste trabalho foi o ambiente desenvolvido pelo grupo de pesquisa de professores e estudantes do Departamento de Informática e do Programa de Pós-Graduação em Sistemas e Processos Industriais da UNISC, conforme a figura 15. Diversos trabalhos já foram desenvolvidos usando este ambiente, tais como: (FROZZA et al., 2009), (SILVA et al., 2010), (SCHREIBER et al., 2010), (FROZZA et al., 2011), (BORIN et al., 2012), (GRIESANG, 2013), (SCHERER, 2014) entre outros. Figura 15. Tela inicial do AVA da Unisc. Fonte: Elaborado pelo autor. Em (SCHERER, 2014), foi criada uma tabela que demonstra a evolução das pesquisas neste ambiente de aprendizagem virtual, conforme mostrado na tabela 5.

47 47 Tabela 5: Trabalhos desenvolvidos no AVA. Etapa do trabalho Desenvolvimento da agente Dóris em 3D expressando emoções. Análise das expressões faciais e dos comportamentos observáveis resultantes da interação com o AVA. Inferência do estilo cognitivo do estudante. Mecanismo de interação entre os agentes pedagógicos Dóris e Dimi Integração dos métodos de inferência da emoção e do estilo cognitivo no AVA. Definição dos momentos em que a emoção e o estilo cognitivo são inferidos através das regras de interação. Estudo sobre as características dos estilos cognitivos e elaboração das duas táticas pedagógicas utilizadas para promover a adaptação do AVA e produção de material didático. Validação do AVA através do Método Clínico de Piaget e Mineração de Dados. Autores e execução (BORIN, 2010) (AUTOR, 2015) Ocorre através da adaptação da rede neural desenvolvida por (FLORES, 2013), utilizado para definir o estilo cognitivo do estudante através das suas respostas no momento do cadastro no ambiente. (GRIESANG, 2013) (SCHERER, 2014) (SCHERER, 2014), a autora adaptou as regras de interação já existentes no AVA. (SCHERER, 2014) (SCHERER, 2014) Fonte: (SCHERER, 2014). Este trabalho está inserido em um grande grupo que vem realizando pesquisas, iniciadas no ano 2000, com o desenvolvimento do Agente Dóris, até o presente momento. Sendo assim, é importante entender quais as etapas que foram contempladas até o momento.

48 48 A contribuição deste trabalho para o grupo de pesquisa é a análise das expressões faciais e dos comportamentos observáveis resultantes da interação de usuários com o ambiente virtual de aprendizagem. Para isso, foram capturados os vídeos da webcam com as expressões faciais e do uso ambiente virtual de aprendizagem, gerando dados destas gravações e relacionando-os, de modo a efetuar a análise. O conteúdo trabalhado teve como temática Direção Preventiva, desenvolvido por Marcelo Schaefer, mestrando do Programa de Pós-Graduação em Sistemas e Processos Industriais da UNISC. Está dividido em cinco aulas: Responsabilidade do Motorista, Cintos de Segurança e Airbags, Mudança de Faixa e Cruzamento, Velocidade Excessiva e Economia de Combustível. As aulas possuem três formas de apresentação do conteúdo: áudio, texto e vídeo, sendo opcional o uso de cada um destes. Ao final da aula, há exercícios para avaliar o conhecimento adquirido. A figura 16 mostra exemplo de uma página de conteúdo com áudio e texto. Figura 16. Página com conteúdo sobre direção preventiva. Fonte: Elaborado pelo grupo de pesquisa. A figura 17 sintetiza a metodologia utilizada neste trabalho com dados coletados de pessoas acima de 60 anos, tanto homens quanto mulheres, durante o uso de um ambiente virtual de aprendizagem. Elas tiveram a imagem da webcam e da captura da tela coletadas. As imagens da webcam com as expressões faciais foram analisadas com um software para o reconhecimento das emoções e a captura da tela foi analisada com um software que registrou os comportamentos durante a interação com o AVA. A combinação destes dados permitiu a realização de análise gráfica das informações e a

49 49 proposta de um modelo que faz uso das emoções e dos comportamentos observáveis para a inferência da construção do conhecimento. Figura 17. Síntese da metodologia do trabalho Fonte: Elaborado pelo autor. 5.2 Coleta de dados Para a coleta de dados escolheu-se trabalhar com pessoas acima de 60 anos, já que a coleta seria realizada durante aulas de informática para a Terceira Idade. Também, pessoas nesta faixa etária demonstram maior paciência para novas experiências, além da oportunidade de apresentar ambientes virtuais de aprendizagem a esta geração que não teve acesso aos recursos de hipermídia. No entanto, devido à falta de infraestrutura, foi necessário limitar o uso a um computador em um ambiente, fora da sala de aula. Foram realizadas coletas de dados nos dias 21 e 26 de maio de 2015, com duas pessoas em cada data, em uma sala com iluminação adequada e com um notebook que teve o posicionamento da webcam adequado para a captura das expressões faciais. A captura foi realizada com duração média de uma hora. Cada pessoa acessou o ambiente, respondeu o questionário para a determinação do perfil cognitivo e assistiu as cinco aulas, com a orientação da execução das aulas na sequência: Responsabilidade do Motorista, Cintos de Segurança e Airbags, exercícios, Mudança de Faixa e Cruzamento, exercícios, Velocidade Excessiva, exercícios, Economia de Combustível e exercícios. Todas as aulas foram assistidas, assim como, a resolução dos exercícios disponíveis. Em cada aula o conteúdo de áudio, texto e vídeo eram de uso opcional. Os dados coletados foram separados em duas partes: a captura das ações da tela e a captura das expressões faciais. Ambos foram capturados com o software Camtasia

50 50 Apesar de existirem soluções open source para a captura de tela, este foi escolhido, pois é o único, dentre as opções analisadas, capaz de capturar em uma mesma gravação a imagem da tela e a da webcam em dois vídeos independentes. Cada gravação gerou um arquivo.camrec que pode ser editado no Camtasia Studio, para a criação de dois vídeos, um com a imagem da tela para a captura dos comportamentos observáveis, e outro, com a imagem da webcam para a captura das expressões faciais. A figura 18 mostra a edição de uma gravação de vídeo no Camtasia Studio, com as duas faixas de tela e câmera separadas. Figura 18. Imagem do Camtasia Studio Fonte: Elaborado pelo autor. 5.3 Tratamento das expressões faciais O vídeo da webcam com as expressões faciais foi analisado com o software FaceReader, que é um software desenvolvido pela VicarVision e classifica as

51 51 expressões faciais nas seis emoções básicas, definidas por (EKMAN, FRIESEN e ELLSWORTH, 1982): felicidade, tristeza, raiva, medo, surpresa, nojo, além da inclusão do estado emocional neutro. Este software é usado para pesquisas em diversas áreas como: psicologia, educação, interação homem-computador, pesquisa de mercado e comportamento do consumidor, como visto em (LEWINSKI, FRANSEN e TAN, 2014), (DRAPE et al., 2013) e (GOLDBERG, 2014), entre outros. Ele foi validado para o uso em ambiente educacionais em (TERZIS, MORIDIS e ECONOMIDES, 2010), no qual compara as emoções obtidas através da análise das expressões faciais do software FaceReader com as observadas por dois pesquisadores, e obteve taxa de concordância dos resultados acima de 87%. Além deste, outros softwares foram analisados. O Kairos 5 foi testado e descartado devido à imaturidade da plataforma, os testes realizados apresentaram diversos problemas. Para as opções NViso 6 e Affectiva 7 não se obteve uma licença de teste para o trabalho. O Emovu 8 não trabalha com o modelo de emoções básicas de (EKMAN, FRIESEN e ELLSWORTH, 1982), enquanto que o SightCorp 9 não possuí uma IDE (Integrated Development Environment) para a análise de vídeos gravados, apenas uma SDK (Software Development Kit) para o desenvolvimento de aplicações desktop. A solução que mais se aproxima ao FaceReader é o Emotient 10, que assim como o FaceReader, já tem trabalhos publicados na área de educação e aparenta possuir bom índice de reconhecimento. Além da emoção principal expressa pelo usuário, o software FaceReader é capaz de retornar algumas características da face, como: olhos e bocas abertos ou fechados, posição das sobrancelhas, posicionamento da cabeça, entre outros. A figura 19 mostra uma face sendo analisada pelo software FaceReader

52 52 Figura 19. Interface do FaceReader Fonte: ( Para analisar as expressões faciais no software, primeiramente foi criado um projeto com os quatro participantes que participaram da coleta de dados. Cada participante foi cadastrado no projeto com a informação da idade e do sexo para aumentar a taxa de acerto no reconhecimento das emoções. A figura 20 mostra a estrutura de um projeto criado no software FaceReader. Figura 20. Estrutura de um projeto no FaceReader Fonte: Elaborado pelo autor.

53 53 O software permite que cada participante tenha as expressões faciais analisadas a partir de três diferentes fontes: diretamente da webcam, de uma imagem ou de um vídeo gravado. Também, pode-se incluir mais de uma análise para o mesmo participante, caso se realize mais de uma captura. Neste trabalho foi usada a análise de um vídeo gravado para cada participante. Segundo o manual do FaceReader, algumas pessoas aparentam, por exemplo, raiva ou tristeza naturalmente. Por isso, ao analisar imagens ou vídeos gravados, é recomendada a calibragem manual para cada participante, com a indicação de uma imagem ou parte do vídeo que o participante está no estado neutro. Caso a análise seja diretamente na webcam, o software dispõe de um algoritmo para calibragem automática. Após a análise é possível exportar os dados em dois arquivos distintos: um arquivo TXT com o log completo de todas as saídas do classificador de emoções do software FaceReader, como mostrado na figura 21. Em todas as saídas, cada emoção é representada por um valor entre 0 e 1 que indica a intensidade da emoção, a partir das expressões analisadas. Por exemplo, no momento 00:00: do vídeo, neutro (Neutral) tem 0.051, já tristeza (Sad) tem o valor , logo, neste momento as expressões faciais indicam mais a emoção de tristeza do que neutro. Se não for encontrada uma face ou ela não puder ser analisada (devido ao posicionamento da câmera ou qualidade do vídeo, por exemplo) um registro com o valor FIND_FAILED ou FIT_FAILED é adicionado. Figura 21. Arquivo TXT com incidência de emoções frame por frame Fonte: Elaborado pelo autor.