AVALIANDO UM MODELO AFETIVO DE ALUNO BASEADO EM UMA ABORDAGEM COGNITIVA

Transcrição

1 AVALIANDO UM MODELO AFETIVO DE ALUNO BASEADO EM UMA ABORDAGEM COGNITIVA Patrícia Augustin Jaques Programa de Pós-Graduação em Computação Aplicada (Pipca) Universidade do Vale do Rio dos Sinos (UNISINOS) Resumo. Este artigo descreve uma avaliação empírica de um modelo afetivo de aluno realizada com estudantes da 7ª série. O modelo afetivo é fundamentado conceitualmente na teoria psicológica cognitiva de emoções OCC a fim de inferir as emoções do aluno a partir de suas ações e escolhas na interface do ambiente educacional. O modelo se baseia em uma abordagem de estados mentais, mais especificamente no modelo BDI, para aplicar o processo de inferência de emoções em um ambiente web de aprendizagem. Dois experimentos foram realizados baseados em uma abordagem direta e indireta. Os resultados do experimento são discutidos e algumas idéias de melhorias são apresentadas. Palavras-chave: Computaão Afetiva, Modelagem Afetiva do Usuário, Sistemas Tutores Inteligentes, Agentes Pedagógicos, Emoções. Abstract. This article describes an empirical evaluation of a cognitive-based affective user model accomplished with 7 th grade students. The affective model is conceptually based on the OCC psychological theory of emotions in order to infer the students emotions from their actions and choices in the interface of the learning system. The model relies on a mental states approach, more specifically the BDI model, to implement the process of inference of students emotions in a web-based learning environment. Two experiments were accomplished based on a direct and an indirect approach. The results of the evaluation experiments are discussed and some ideas of improvement for the experiments protocol are presented. Keywords: Affective Computing, Affective User modelling, Intelligent Tutoring System, Pedagogical Agents, Emotions. 1. Introdução Para um sistema computacional reconhecer as emoções do usuário, duas principais etapas são necessárias. Primeiramente, o software deve estar apto a capturar algum dado do usuário do qual ele possa inferir as emoções. Atualmente, estados emocionais podem ser reconhecidos pelas seguintes fontes de dados: (i) voz (prosódia) [Cho et al. 2007]; (ii) expressões faciais [Yeasin et al. 2006]; (iii) sinais fisiológicos (batimentos cardíacos, tensão muscular, condutividade da pele e respiração) [Picard et al. 2001]; e (iv) dados comportamentais, isto é, ações e escolhas do usuário na interface do sistema (por exemplo, opções de escolha e velocidade de digitação) [Martinho et al. 2000; Conati and Mclaren 2004]. Em segundo, o sistema deve ter um modelo de usuário que seja apto a inferir os seus estados emocionais a partir de emoções passadas e dos dados coletados. Em um contexto bem definido (por exemplo, um ambiente de aprendizagem), os dados comportamentais do usuário podem ser um caminho para prever, reconhecer e interpretar seus estados afetivos. Neste caso, o sistema é conceitualmente fundamentado em um modelo psicológico de emoções que segue uma abordagem cognitiva para inferir as emoções do usuário XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 155

2 pelas suas ações e escolhas no sistema computacional. Esta abordagem foi denominada de Modelagem Afetiva do Usuário Baseada em Cognição (do inglês Cognitive-Based Affective User Modeling) [Martinho et al. 2000]. Um dos mais empregados modelos psicológicos cognitivos para inferência de emoções em ambientes computacionais é a Estrutura Cognitiva de Emoções de Ortony, Clore e Collins [Ortony et al. 1988], geralmente chamando de modelo OCC. O modelo OCC visa explicar o appraisal, processo cognitivo que provoca uma emoção, de 22 tipos de emoções. Este artigo descreve a avaliação de um modelo afetivo cognitivo, que é conceitualmente baseado no modelo OCC para inferir as emoções do usuário a partir de dados comportamentais em uma ambiente web de aprendizagem. O modelo segue uma abordagem baseada em estados mentais, mais especificamente ele se beneficia da capacidade de raciocínio do modelo BDI para inferir o appraisal dos alunos. Esta informação afetiva sobre o estudante é utilizada por um agente pedagógico animado, chamado Pat, o qual é responsável por motivar o aluno, encorajá-lo a fazer mais esforços, bem como aumentar a sua motivação intrínseca. Este artigo foca principalmente na avaliação do modelo afetivo e na inferência de emoções. Maiores detalhes sobre o agente pedagógico animado pode ser encontrado em [Jaques 2004; Jaques and Viccari 2005; Jaques et al. 2008]. O restante deste artigo encontra-se organizado como segue. A próxima seção explica como é realizado o reconhecimento de emoções no modelo proposto. A seção 3 descreve a ferramenta BDI empregada, o X-BDI, e o processo de raciocínio realizado pelo X-BDI para a inferência emocional. A seção 4 apresenta o protocolo do experimento e a seção 5 os resultados da avaliação. Finalmente, a seção 6 sugere algumas melhorias no protocolo do experimento e cita algumas idéias de trabalho futuro. 2. Modelando as emoções do usuário O modelo descrito neste trabalho está apto a reconhecer as emoções alegria, tristeza, satisfação, frustração, gratidão, raiva e vergonha, baseado no modelo psicológico de emoções OCC [Ortony et al. 1988]. Segundo o modelo OCC, as emoções alegria e tristeza surgem quando uma pessoa foca o quanto um evento é in/desejável para si (desejabilidade) em relação aos seus objetivos. O modelo OCC define que alegria ocorre quando uma pessoa está agradada com um evento desejável e tristeza quando está desagradada com o evento indesejável. Por exemplo, para um determinado aluno que tem como objetivo agradar o professor e seus pais, obter uma boa nota é um evento desejável. Para o mesmo aluno, ser reprovado é indesejável, pois esse evento iria desagradar aos seus pais. As emoções satisfação e frustração surgem quando uma pessoa tem a confirmação da realização (satisfação) ou confirmação de não realização (frustração) de um evento desejável que esperava que pudesse se realizar. As emoções gratidão e raiva são disparadas quando uma pessoa avalia as ações de outra em relação à interferência na realização de seus objetivos. Uma pessoa possui gratidão em relação a outra quando avalia que a ação da outra pessoa foi boa e teve conseqüência positiva para si. Raiva surge quando a ação de alguém é avaliada como censurável e tendo ainda uma conseqüência negativa para si. Se a ação avaliada é a própria ação, emoções como vergonha ou orgulho podem ser disparadas. Orgulho surge quando uma pessoa aprova sua própria ação e vergonha em caso contrário. Então, para reconhecer as emoções, tristeza e alegria, por exemplo, é necessário verificar quando um evento do ambiente educacional é desejável ou indesejável (de acordo com os objetivos do aluno) e quando o aluno está agradado porque este evento desejável aconteceu ou desagradado porque um evento indesejável aconteceu. Desta maneira, precisamos definir (1) os eventos que podem acontecer no ambiente educacional, (2) os objetivos do aluno (para saber XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 156

3 se os eventos são desejáveis ou não) e a (3) desejabilidade dos eventos (de acordo com os objetivos do aluno) para inferir as emoções do aluno. Primeiramente, alguns eventos foram definidos que podem acontecer no ambiente de aprendizagem e que podem disparar uma emoção. Alguns exemplos de eventos são: o aluno não realizou a tarefa e o aluno forneceu uma resposta incorreta para um exercício (devido a limite de espaço, apenas alguns exemplos dos 11 eventos são citados). Em segundo, era necessário determinar os objetivos do aluno para verificar a desejabilidade dos eventos. Mas, em um ambiente educacional, que tipos de objetivos o aluno pode ter? Como o modelo foi aplicado em um ambiente web de aprendizagem independente de domínio, esses objetivos deveriam ser genéricos para diferentes perfis de alunos (faixa etária, sexo, etc). Dessa forma, este trabalho se baseou na pesquisa de Ames [1990] que considera que alunos podem ter objetivos orientados ao desempenho ou à aprendizagem, que são as razões pelas quais eles se engajam na aprendizagem ou escolhem se engajar nas atividades acadêmicas. Estudantes que possuam objetivos orientados à aprendizagem tendem a desenvolver novas habilidades, tentam entender seu trabalho, aperfeiçoam seu nível de competência, e desejam aprender novas coisas. Quando alunos possuem objetivos orientados ao desempenho, eles acreditam que o desempenho é importante e tentam demonstrar que têm capacidade. Eles sentem que obtiveram sucesso quando agradam o professor ou pais ou quando se saem melhores que seus colegas, ao invés de quando aprenderam algo novo. Quando enfrentam dificuldades, eles não aumentam os seus esforços porque isso significa falta de capacidade para eles. Para identificar os objetivos do aluno, o questionário Motivated Strategies for Learning Questionnaire (MSLQ) [Pintrich 1991] é aplicado na primeira vez que os alunos acessam o sistema web. O MSLQ é um instrumento de auto-relato que permite determinar os objetivos do aluno e as suas estratégias de aprendizagem. Em terceiro, uma vez que os objetivos do aluno e eventos são conhecidos, é possível determinar a desejabilidade dos eventos, assim como quando o aluno está satisfeito/ insatisfeito com um evento. Determinamos a desejabilidade (ou indesejabilidade dos eventos) baseado no que pesquisadores sabem sobre objetivos de alunos orientados à aprendizagem ou ao desempenho, citados por pedagogos, tais como Meece e Mccolskey [2001] e Ames [1990], que foi utilizado para criar as estruturas virtuais de objetivos. Quando um evento promove os objetivos do aluno, ele é desejável. Quando ele impede a concretização dos objetivos, ele é indesejável. Por exemplo, para um aluno orientado ao desempenho que tem o objetivo de agradar seus pais, fornecer uma resposta correta para um exercício é um evento desejável porque promove seu objetivo e, pela mesma razão, não fornecer uma resposta correta é um evento indesejável. Estas informações sobre desejabilidade dos eventos foram adicionadas como crenças do agente, como será explicado na próxima seção. Com esta informação, o modelo está apto a determinar as emoções do aluno. 3. Reconhecimento de emoções usando raciocínio BDI O X-BDI [Móra et al. 1998] foi usado na implementação do modelo afetivo. X-BDI é uma ferramenta para implementação de um módulo cognitivo de agente que é baseado na abordagem BDI (do inglês Belief-Desire-Intention Crença-Desejo-Intenção). A abordagem BDI vê o sistema como um agente racional tendo certas atitudes mentais de crenças, desejos e intenções, representando, respectivamente, os estados de informação, motivação e deliberação de um agente [Rao and Georgeff 1991]. No caso deste trabalho, ele foi usado para a implementação da Mente do agente Pat, que compreende o modelo afetivo e o componente responsável por escolher as táticas afetivas a serem aplicadas por Pat. Os outros componentes da arquitetura do agente (como sensores, atuadores e interface) compõem o módulo Corpo do agente. Eles estão implementados em Java e se comunicam com o X-BDI através de sockets [SUN 2007]. Maiores XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 157

4 detalhes sobre o X-BDI e os formalismos usados para definir seu modelo podem ser encontrados em [Móra et al. 1998]. Esta seção visa descrever como o kernel (kernel cognitivo se refere à implementação X- BDI do modelo afetivo) cognitivo BDI infere as emoções do aluno usando o seguinte cenário como exemplo: o aluno tem objetivos orientados ao desempenho e ele obteve uma nota baixa no exame. O kernel cognitivo recebe a seguinte informação dos sensores do agente: [current_time(2),sense(student_goal(performance), 1)]. [current_time(3),sense(event(bad_grade_exam),2), sense(effort(high),2)] Os sensores notificam ao kernel BDI que o aluno tem objetivos orientado ao desempenho e que fez esforços relevantes no último evento: obteve uma nota baixa no exame. Então, o agente ativa o desejo emotion_sent como intenção, que tem como objetivo inferir as emoções do aluno. Pat está identificada como ag nos predicados X-BDI. des(ag,emotion_sent(emotion,intensity), Tf,[0.8]) if bel(ag, student_emotion(emotion)), bel(ag, emotion_intensity (Emotion,Intensity)). act (ag, send_emotion (Emotion,Intensity)) causes bel (ag, emotion_sent (Emotion, Intensity)) if bel (ag, student_emotion(emotion)), bel(ag, emotion_intensity(emotion, Intensity)). Para o agente satisfazer a intenção emotion_sent, ele precisa enviar a emoção inferida para o módulo responsável por escolher uma tática afetiva (predicado send_emotion ). Este tipo de predicado de ação é necessário, pois o raciocínio BDI é um tipo de raciocínio prático, isto é, raciocínio direcionado à ação. Pat infere as emoções do aluno a partir das seguintes crenças: bel (ag, event_pleasantness(bad_grade_exam, displeased)) if bel (ag, student_goal(performance)), bel (ag, event(bad_grade_exam)). bel (ag, is_prospect_event(bad_grade_exam)) if bel (ag, event(not_correct_answer)). bel (ag, student_emotion(disappointment)) if bel (ag,event_pleasantness(event,displeased)), bel (ag,-is_mediador_action), bel (ag,is_prospect_event (Event)). bel (ag, student_emotion(distress)) if bel (ag,event_pleasantness(event,displeased)), bel (ag, -is_mediador_action). O aluno está insatisfeito, porque o evento é indesejável ou é desejável, mas não se realizou. Quando o aluno está insatisfeito, ele sente a emoção tristeza. Ele pode também experimentar frustração se era um evento esperado que foi confirmado. Este é o caso do evento not_correct answer, pois quando o aluno realiza uma tarefa, ele tem uma expectativa de obter uma boa nota ou não. Para ocasionar emoções como tristeza e frustração, o evento não deve ter sido gerado por Pat (ou seja, é uma ação do aluno ou resultado desta). Ações do agente disparam emoções como raiva e gratidão. 4. Avaliando o modelo Na literatura científica apenas alguns artigos descrevem a avaliação de modelos afetivos de usuários [Martinho et al. 2000; Picard et al. 2001; Conati and Mclaren 2004]. Quando o interesse se encontra em modelos afetivos baseados em appraisal, como o trabalho apresentado, o único de que os autores estão cientes é o trabalho de Conati [Conati and Mclaren 2004]. Segundo Conati [2004], há duas abordagens para avaliar modelos afetivos. A abordagem direta XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 158

5 mede especificamente a exatidão do modelo afetivo, isto é, obtém uma medida confiável das emoções do aluno para comparar estes dados com aqueles inferidos pelo modelo. A abordagem indireta avalia o desempenho da aplicação que usa um modelo afetivo para se adaptar ao usuário. Como apontado por Conati [2004], uma das limitações da abordagem indireta é que a avaliação do modelo pode ser prejudicada pela introdução de outras variáveis na interação do usuário com o sistema. Dessa maneira, para avaliação do modelo afetivo proposto, a abordagem direta foi escolhida como principal processo de avaliação. Subseqüentemente, a abordagem indireta foi também utilizada para discutir os resultados obtidos pela direta. Uma vez que a abordagem direta foi escolhida, a questão seguinte passa a ser Como obter os dados necessários para usar na comparação da abordagem direta?. Muitos trabalhos que estão interessados em modelar emoções detectadas por sensores fisiológicos (batimentos cardíacos, respiração, etc), voz e expressão facial usam a técnica de indução de emoção. O principal problema desta técnica é que, embora ela forneça dados emocionais com os quais comparar as emoções inferidas, as interações afetivas nas situações reais podem não ser tão intensas ou isoladas quanto aquelas induzidas [Conati 2004]. Além disso, as situações criadas para induzir emoções no usuário podem não corresponder na sua totalidade a situações reais que surgem na interação do usuário com a aplicação onde o modelo foi inserido. Uma alternativa possível é obter informações sobre as emoções do aluno diretamente de seu relato. Existem algumas alternativas que seguem essa abordagem e que foram descritas por [Conati and Mclaren 2004]. Uma possibilidade é pedir ao aluno que descreva as suas emoções após a interação com o sistema. Uma limitação desta abordagem é que os alunos podem não mais se lembrar de suas emoções após a interação com o software: principalmente, se essa interação foi longa, como geralmente acontece em ambientes de aprendizagem. Uma outra opção é gravar a interação do aluno com a aplicação e mostrar este vídeo a ele após a sessão. Esta abordagem requer gravar a interação. Além disso, é necessário que os alunos permaneçam após a sessão para assistir o vídeo e relatar suas emoções. Esta opção é impraticável para este experimento devido à faixa etária dos alunos que variava entre 12 a 19 anos. Além disso, Conati [Conati 2004] aponta que experiências anteriores com sessões gravadas em vídeo mostraram que o vídeo não fornece evidências das emoções do usuário, embora eles dêem alguma indicação da intensidade e valência emocional. Para este experimento, a abordagem desenvolvida em [Conati 2004] e aplicada em [Conati and Mclaren 2004] foi adotada. Esta abordagem foi escolhida, pois ela foi especificamente elaborada para ser aplicada em modelos afetivos cognitivos, como o modelo apresentado, e por ter sido aperfeiçoada após alguns testes. [Conati 2004; Conati and Mclaren 2004] sugere apresentar na tela uma janela de diálogo permanente na qual os estudantes devem relatar as suas emoções. As emoções informadas pelo aluno são comparadas com aquelas inferidas pelo modelo afetivo a fim de definir sua taxa de sucesso. Como usuários podem se distrair com as opções na interface do ambiente educacional e esquecer de notificar suas emoções (isso foi verificado em um experimento [Conati 2004]), é também sugerido mostrar automaticamente a mesma janela de diálogo em duas situações: (i) se o usuário não relatou as suas emoções por um longo período; (ii) se o modelo afetivo detecta uma emoção diferente para o aluno, pois é necessário realmente verificar se o aluno está experimentando esta nova emoção. Em Conati [2004] foi verificado que embora os alunos se sentissem um pouco desconfortáveis com a freqüente presença da janela de diálogo pop-up, não foi constatado um nível maior de frustração entre os alunos que usaram esta versão do ambiente. Isto mostra que há uma boa evidência que esta janela de diálogo não gere frustração e, desta maneira, não interfira na avaliação do modelo afetivo. A interferência das janelas pop-up nas atividades do aluno e na suas emoções foi avaliada através de pós-questionário. Os resultados desse questionário são discutidos na seção 5. XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 159

6 5. Resultados da avaliação 24 alunos, com idades variando entre 12 e 19 anos, foram inicialmente recrutados para participar do experimento. Eles são alunos da 7ª série inscritos em uma escola de ensino fundamental e médio (escola pública na cidade de Canos, Rio Grande do Sul). Inicialmente, os alunos foram informados sobre os objetivos do experimento, seu caráter voluntário de participação, assim como a confidencialidade completa de qualquer dado coletado sobre eles. Em relação aos objetivos do experimento, foi explicado que eles iriam interagir com um agente pedagógico animado em um ambiente web de aprendizagem que iria tentar se adaptar as suas necessidades e ajudá-los a aprender melhor o conteúdo previsto. Após, os alunos tiveram uma breve explicação de como JADE funciona. JADE [Silveira and Viccari 2002] é um ambiente web de aprendizagem que segue uma abordagem multiagente em sua concepção, tendo sido implementado em Java. Ele pode ser customizado para qualquer assunto de interesse, pois ele apresenta o conteúdo pedagógico em sessões compostas de páginas de conteúdo teórico e exercícios. Embora JADE não seja um ambiente de aprendizagem inteligente (como sistemas tutores inteligentes), ele foi escolhido, por dois principais motivos. Um dos objetivos deste trabalho era verificar o quão difícil é inferir as emoções dos estudantes em um ambiente independente de domínio. Além disso, o trabalho também busca verificar quão útil e motivador é um agente pedagógico animado em um ambiente de aprendizagem não inteligente. JADE foi adaptado para o conteúdo pedagógico de Fuso-Horário. A Figura 1 mostra a interface do ambiente JADE com a qual os alunos interagiram no experimento. Figura 1. Pat no ambiente JADE Também foi explicado aos alunos que, quando usando o ambiente de aprendizagem, eles teriam acesso a duas caixas de diálogo nas quais eles deveriam relatar suas emoções (elas têm o mesmo conteúdo, apenas diferenciando que uma é permanente e a outra é pop-up). A primeira é uma caixa de diálogo permanente e eles devem acessá-la toda vez que experimentarem uma nova emoção. A segunda é uma caixa de diálogo pop-up que apareceria após algum intervalo (a cada 10 minutos) e após cada evento que pode gerar uma emoção (em cada 2,9 minutos em média). Os alunos foram encorajados a informar sinceramente suas emoções nas caixas de diálogo toda vez que estas mudarem, para que o agente pudesse adaptar o seu comportamento. XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 160

7 Figura 2. Caixa de diálogo para relato de emoções pelos alunos Figura 2 ilustra a caixa de diálogo utilizada pelos alunos para relatar suas emoções. Como pode ser observado, as emoções frustração e tristeza estão agrupadas, assim como as emoções alegria e satisfação. Este agrupamento simplifica a interface da caixa de diálogo para o aluno. Ele foi realizado, pois todos os eventos no ambiente educacional em que Pat infere emoções geram as emoções alegria/satisfação e tristeza/frustração simultaneamente. Isto se deve ao fato que essas emoções surgem quando um evento é avaliado de acordo com o quanto ele é desejável (alegria/satisfação) ou indesejável (tristeza/frustração) para os alunos de acordo com seus objetivos. O quê diferencia essas emoções é a expectativa de que o evento irá ocorrer ou não. Por exemplo, quando um aluno realiza um exame, ele espera pela avaliação. Isto gera uma expectativa no aluno (que ele tenha obtido uma boa nota ou não). Quando há uma expectativa, as emoções frustração e satisfação podem co-ocorrer. Dos 24 alunos que participaram do experimento, 8 não relataram nenhuma emoção na caixa de diálogo. Isto aconteceu porque a caixa de diálogo pop-up não era modal, o que permitia aos alunos fechar a janela sem selecionar uma opção de resposta. Como as caixas de diálogo disponibilizavam a opção de relatar que não sentiram nenhuma emoção, os dados desses 8 alunos não foram considerados na análise do experimento, uma vez que a falta de informações proveniente destes alunos não significa que eles não sentiram nenhuma emoção, mas que eles não desejaram reportá-las. Isto pode ter acontecido tanto porque os alunos não se sentiram confortáveis em reportar suas emoções ou porque eles se sentiram incomodados pela presença da caixa de diálogo. Apenas 8% dos alunos reportaram no pós-questionário que eles se sentiram desconfortáveis em informar suas emoções, o que fornece alguma evidência que os outros alunos não o fizeram por achar as caixas de diálogo perturbantes. Além disso, entre os alunos que informaram suas emoções ao menos uma vez, eles absteram-se em 18% das situações que a caixa de diálogo apareceu. Como a caixa de diálogo permite aos estudantes relatar que eles não sentiram nenhuma emoção, esses 18% de casos que o agente inferiu alguma emoção e o aluno fechou a caixa de diálogo sem informar nada não foram considerados na avaliação. As emoções reportadas pelos alunos (que foram armazenadas em um arquivo de log) foram comparadas com aquelas inferidas pelo modelo afetivo para a avaliação. Para esta análise uma janela de tempo de 1 minuto foi considerada. Este valor foi escolhido, pois foi verificado que, em geral, os estudantes levam até 1 minuto para relatar suas emoções nas janelas de diálogo quando estas aparecem. Tabela 1. Precisão da inferência emocional do modelo afetivo taxa de sucesso estudante informou, mas agente não inferiu agente inferiu emoção diferente número de relatos alegria/ satisfação 77% 13% 10% 39 tristeza/ frustração 0% 0% 100% 17 gratidão 22% 72% 6% 35 raiva 0% 100% 0% 2 TOTAL 93 XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 161

8 A Tabela 1 mostra a taxa de sucesso para a inferência do modelo afetivo. Para cada emoção inferida, a percentagem de emoções relatadas pelo aluno que combinam com ela foi verificada. Como pode ser observado, o modelo obteve uma boa taxa de sucesso para a combinação das emoções alegria/tristeza: 77%. Em 13% das situações, os alunos informaram que eles sentiram alegria/satisfação e o modelo não inferiu nenhuma emoção. Nas outras 10% situações, o modelo inferiu uma emoção diferente. Esta é uma boa taxa de sucesso considerando que humanos tem uma taxa de sucesso de reconhecimento emocional por face de 87% e por voz de 65% [Sebe et al. 2005]. Algoritmos computacionais de reconhecimento por face e voz têm aproximadamente a mesma taxa de sucesso que humanos, mas em ambientes controlados e com expressões exageradas interpretadas por atores. Por outro lado, os resultados da inferência para as emoções frustração/tristeza, gratidão e raiva foram frustrantes. Uma possível explicação para isto é que os alunos gostaram tanto da presença do agente que informaram estar grato a ele na maioria de suas ações. Como pode ser verificado na Tabela 1, em 72% do tempo os alunos notificaram estar grato ao agente, não tendo o modelo inferido isto. Com respeito à raiva, ocorreram apenas duas situações (eventos) que poderiam gerar raiva nos alunos, não havendo informação suficiente para interpretar a taxa de sucesso para esta emoção. Por outro lado, a avaliação indireta forneceu resultados interessantes sobre o efeito das táticas afetivas na aprendizagem dos alunos. Um outro experimento foi realizado com outros 2 grupos de 13 alunos, totalizando 26 alunos. O primeiro grupo, o grupo de controle, utilizou apenas o ambiente de aprendizagem JADE, enquanto que o segundo grupo, grupo experimental, interagiu com Pat inserida no JADE. A Tabela 2 sumariza os resultados dos pré-testes e póstestes destes 2 grupos. Embora, a média no pré-teste tenha sido muito aproximada para os 2 grupos, os alunos que interagiram com Pat obteram uma média consideravelmente maior que o grupo de controle no pós-teste. O teste estatístico t mostra que há evidências significativas que estudantes no grupo experimental obtiveram maior ganho no pós-teste que estudantes no grupo de controle [F(21.842)= , p= ]. Além disso, a aplicação do teste t para verificar o ganho dos estudantes do grupo experimental no pós-teste em relação ao pré-teste permite verificar que há uma diferença significativa nas médias para o grupo experimental [F(21.773)= , p<0.01]. Como as emoções são um tipo de informação importante para o agente decidir a tática afetiva, estes resultados fornecem evidência considerável que as emoções inferidas foram muito próximas àquelas experimentadas pelo aluno, o que permitiu à Pat aplicar as táticas afetivas apropriadas e, desta maneira, melhorar os resultados dos alunos do grupo experimental no pós-teste. Tabela 2. Resultados do pré e pós testes nos 2 experimentos Pré-teste Pós-Teste Média Desvio Padrão Média Desvio Padrão JADE (grupo de controle) 4,04 1,54 5,87 1,79 Pat (grupo experimental) 4,52 1,81 7,40 1,30 Após interagir com o ambiente de aprendizagem, os alunos foram convidados a preencher um questionário a fim de verificar em que extensão a caixa de diálogo interferiu em suas emoções. As questões (adaptadas de [Conati and Mclaren 2004]) e as respostas dos alunos, classificadas em uma escala do tipo Likert onde os valores variam de 1 (discordo totalmente) a 5 (concordo totalmente), são apresentadas na Tabela 3. Tabela 3. Escore médio das questões do pós-questionário A caixa de diálogo popup se mostrava muito frequentemente A caixa de diálogo popup interferiu nos meus estudos A caixa de diálogo permanente interferiu nos meus estudos As questões na caixa de diálogo foram claras para mim XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 162

9 Eu me senti desconfortável em dizer para o sistema as minhas emoções As médias na Tabela 3 sugerem que os alunos estavam indiferentes ao número de vezes que a caixa de diálogo aparecia a eles e que esta não interferiu em seus estudos. Estes resultados eram já esperados, uma vez que poucos alunos relataram sentir frustração ou raiva. Uma preocupação era que se os estudantes se sentissem perturbados pela caixa de diálogo, eles poderiam se tornar frustrados ou irritados com o ambiente de aprendizagem, o que poderia interferir no experimento de avaliação. Além disso, os resultados mostram que os alunos não se importam de informar suas emoções ao sistema. Isto é importante porque o sentimento de ser obrigado a reportar suas emoções pode tornar o aluno angustiado [Conati 2004]. Além disso, se os alunos se sentem desconfortáveis em relatar suas emoções, eles podem omitir esta informação ou mentir sobre a emoção que estão sentindo. 6. Conclusões Este artigo apresenta o resultado de duas avaliações realizadas por um modelo de aluno afetivo. Com respeito à avaliação indireta, os melhores resultados no pós-teste em relação ao pré-teste dos alunos que utilizam a versão de JADE com o agente Pat fornecem indícios que o modelo provê informação afetiva útil sobre o aluno. Como o agente usa as emoções do aluno para guiar a escolha das táticas afetivas, os melhores ganhos do grupo experimental indicam que a informação fornecida pelo modelo afetivo é muito próxima às emoções reais dos alunos. Isto permite ao agente escolher a tática afetiva adequada e, indiretamente, melhorar sua aprendizagem. Por outro lado, os resultados da avaliação direta não foram tão encorajadores para as emoções negativas. Os autores acreditam que isto aconteceu devido, principalmente, a algumas limitações do protocolo do experimento. Três aperfeiçoamentos podem ser realizados no protocolo. Primeiramente, é muito importante haver a janela de diálogo pop-up. Foi verificado que apenas 11% dos alunos reportaram suas emoções por iniciativa própria na caixa permanente. Segundo, é importante que esta caixa de diálogo seja modal. Experimentadores que participaram na avaliação verificaram que alguns estudantes tinham o reflexo de fechar a janela sem lê-la. Isto pode ser observado nos dados coletados dos experimentos. Dos 24 estudantes que participaram do experimento, 8 não relataram nenhuma emoção. Em terceiro, alunos têm uma concepção bastante simplista de emoção. Eles vêem emoção apenas como àqueles sentimentos que possuam uma reação fisiológica/mental muito forte. Isto foi verificado em um outro pós-questionário realizado, onde foi solicitado aos alunos que relatassem os momentos que sentiram maior intensidade emocional. Alguns estudantes reportaram que não sentiram nenhuma emoção durante a interação com o ambiente. Por outro lado, os mesmos alunos reportaram algumas situações emocionais em outras perguntas do questionário: por exemplo, que eles se sentiram angustiados com a presença do agente, porque achavam que ele iria criticálos, ou que eles gostaram que o agente os tenha elogiado. O OCC afirma que cada emoção presente no modelo representa, de fato, um grupo de emoções que são disparadas pelo mesmo appraisal, mas que possuem diferentes intensidades. Em geral, alguns alunos mal interpretaram emoção como sendo apenas aquelas com intensidade alta, o que raramente acontece em um ambiente de aprendizagem. Além disso, foi observado que os alunos também mal interpretaram gostar do agente com estar grato a ele. Estas concepções errôneas podem ser corrigidas perguntando ao aluno sobre elementos do appraisal (por exemplo, como eles se sentem em relação ao seu desempenho ou sobre a ação do agente) ao invés de diretamente perguntar as suas emoções. Finalmente, acredita-se que o modelo BDI é uma ferramenta conveniente para a implementação de modelos afetivos de usuário cognitivistas. O BDI permite ao agente deduzir o estado afetivo do aluno raciocinando sobre a avaliação cognitiva realizada pelo aluno que disparou uma certa emoção (seu appraisal) baseado em sua informação pessoal (eventos que XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 163

10 estão acontecendo e seus objetivos). Isto permite ao modelo afetivo conhecer as razões que geraram uma certa emoção, visto que ele sabe o appraisal do aluno. Este conhecimento é bastante importante para o agente decidir que tática afetiva aplicar para melhorar o aprendizado do aluno. Por outro lado, uma importante limitação da implementação BDI do modelo afetivo é que, como ele é totalmente baseado na teoria emocional de appraisal e não tem nenhuma informação estatística, é muito difícil inferir a intensidade das emoções e também saber se o sentimento atingiu uma determinada intensidade que caracteriza uma emoção. Uma maneira de ter essa informação é combinar com uma inferência emocional por voz, face ou por sensores fisiológicos. Este segundo modelo seria responsável por saber mais precisamente quando o aluno tem uma emoção, enquanto o modelo BDI informará ao agente as razões que geraram a emoção. Desta maneira, um futuro aperfeiçoamento do trabalho proposto é integrar uma ferramenta de inferência de emoções por face, que já se encontra sendo desenvolvida pelo grupo. Os autores somente têm conhecimento de um outro modelo afetivo cognitivista que foi avaliado [Conati and Mclaren 2004]. Eles propuseram uma abordagem probabilística, usando redes bayesianas, para a inferência de 6 emoções (alegria, tristeza, orgulho, vergonha, admiração e reprovação) em um jogo. Embora ambos os trabalhos reconheçam as emoções do aluno por seus objetivos se baseando no modelo OCC, o trabalho proposto difere deste principalmente por reconhecer as emoções do aluno em um ambiente de aprendizagem que é independente de domínio. Então, diferentemente do que acontece em um jogo, os eventos que podem acontecer e os objetivos do aluno não se encontram tão bem definidos. Um outro diferencial do trabalho proposto é usar a abordagem BDI, ao invés de redes bayesianas, o que permite saber as razões que geraram uma emoção. Por outro lado, a taxa de sucesso no modelo afetivo de Conati foi um pouco mais significativa que este trabalho. Ela obteve taxas de sucesso de 66%, 85%, 20%, 75% para a inferência das emoções alegria, tristeza, admiração e reprovação respectivamente. Outro experimento com os melhoramentos citados nesta seção irão possivelmente gerar resultados mais confiáveis. Além disso, a combinação de inferência emocional por expressão facial com o modelo afetivo cognitivista apresentado será provavelmente o melhor modelo de inferência emocional. 7. Referências Ames, C. (1990) "Motivation: What teachers should know." Teachers College Record. 91, Cho, J., Kato, S. and Itoh, H. (2007). Bayesian-Based Inference of Dialogist's Emotion for Sensitivity Robots. IEEE Int.ernational Symposium on Robot and Human interactive Communication, IEEE, p Conati, C. (2004). How to evaluate models of user affect?. In Proceedings of ADS 04, Tutorial and Research Workshop on Affective Dialogue Systems, Springer, p Conati, C. and Mclaren, H. (2004). Evaluating A Probabilistic Model of Student Affect. In International Conference on Intelligent Tutoring Systems, Springer, p Jaques, P. A. (2004). Using an Animated Pedagogical Agent to Interact Affectivelly with the Student. Porto Alegre, UFRGS. PhD. Thesis, p Jaques, P. A., Jaques, K. S. F. and Lehmann, M. (2008). Avaliando a efetividade de um agente pedagógico animado emocional. In SBIE (neste volume). Jaques, P. A. and Viccari, R. M. (2005). Considering Student's Emotions in Computer-Mediated Learning Environments. In Web-based Intelligent e-learning Systems: Technologies and Applications.Information Science Publishing, p Martinho, C., Machado, I. and Paiva, A. (2000). A Cognitive Approach to Affective User Modeling. In Affective Interactions.Springer, p Meece, J. and McColskey, W. (2001). "Improving Student Motivation." XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 164

11 Móra, M. C., Lopes, J. G., Viccari, R. M. and Coelho, H. (1998). BDI Models and Systems: Reducing the Gap. ATAL. Paris, France., p Ortony, A., Clore, G. and Collins, A. (1988). The Cognitive Structure of Emotions. Cambridge, UK, Cambridge University Press. Picard, R. W., Vyzas, E. and Healey, J. (2001). "Toward Machine Emotional Intelligence: Analysis of Affective Physiological State." IEEE Transactions Pattern Analysis and Machine Intelligence 23(10), p Pintrich, P. e. a. (1991). A Manual for the Use of the Motivated Strategies for Learning Questionnaire, The Reg. of the University of Michigan. Rao, A. S. and Georgeff, M. (1991). Modeling rational agents within a BDI-architecture. In International Conference on Principles of Knowledge Representation and Reasoning, Morgan Kaufmann, p Sebe, N., Cohen, I., Gevers, T. and Huang, T. S. (2005). Multimodal Approaches for Emotion Recognition: A Survey. In INTERNET IMAGING VI, Silveira, R. A. and Viccari, R. M. (2002). Developing distributed intelligent learning Environment with JADE - Java Agents for Distance Education Framework. In International Conference on Intelligent Tutoring Systems, Springer-Verlag, p SUN. (2007). "Custom Networking." sockets/index.html Retrieved 04/11/2007. Yeasin, M., Bullot, B. and Sharma, R. (2006). "Recognition of facial expressions and measurement of levels of interest from video." IEEE Transactions on Multimedia 8(3), p XIX Simpósio Brasileiro de Informática na Educação (SBIE 2008) 165