Mineração de emoções em textos multilíngues usando um corpus paralelo

Transcrição

1 paper:79 Mineração de emoções em textos multilíngues usando um corpus paralelo Aline Graciela Lermen dos Santos, Karin Becker, Viviane Moreira Instituto de Informática Universidade Federal do Rio Grande do Sul (UFRGS) Caixa Postal Porto Alegre RS Brasil {aglsantos,karin.becker, Abstract. Multilingual Opinion Mining deals with the analysis of opinions, regardless of the language in which they are written. Works in this area focus on the classification of the polarity of opinions extracted from texts, and less attention has been paid to the classification of emotions. This work proposes the use of Multilingual Opinion Mining techniques for emotion mining using parallel corpora. We developed experiments with two goals: 1) to compare two approaches for emotion classification: lexicon-based and machine learning-based; 2) to analyze whether a specific language produces better classification results. We developed experiments with a parallel corpus composed by lyrics in their original language (English) and their translations to Portuguese. The results show that machine learning is superior to the use of sentiment lexicon, and that there is no statistical difference regarding the languages used for classification. Resumo. A área de Mineração de Opinião Multilíngue surgiu para extrair e analisar opiniões em textos, independente do idioma no qual estão escritos. Os trabalhos na área concentram seus esforços em classificar a polaridade de opiniões extraídas de texto, mas a classificação das emoções ainda é pouco explorada. Este trabalho se propõe a usar técnicas de Mineração de Opinião Multilíngue para minerar emoções em corpora paralelos. Desenvolvemos experimentos com dois objetivos: 1) comparar duas abordagens de classificação de emoções, a saber, baseada em léxico de sentimentos e em aprendizado de máquina; 2) na classificação de emoções baseada em aprendizado de máquina, verificar se algum idioma produz melhores resultados em isolado ou combinado. Os experimentos utilizaram um corpus paralelo composto por letras de música no idioma original (inglês) e suas traduções para o português. Os resultados mostram que a abordagem aprendizado de máquina é superior ao uso de léxico de sentimento e que não há diferença estatística entre as classificações segundo os idiomas. 1. Introdução Com a expansão da Internet, é fácil para as pessoas expressarem seus sentimentos sobre diversos assuntos na rede, através de textos postados em blogs, redes sociais, fóruns, entre outros. Esses textos são uma fonte de dados rica para a Análise de Sentimentos (AS), também denominada Mineração de Opinião (MO), que tem como objetivo identificar, classificar e sumarizar sentimentos em textos a respeito de um alvo. Dentre as aplicações mais comuns de AS se encontram sumarização de revisões de produtos, análise de popularidade de marcas, organizações ou pessoas para relações públicas ou 127

2 marketing, previsão de indicadores a partir de sentimentos (por exemplo, resultados de eleições), entre outras. A maioria dos textos encontrados na Web está em inglês. Assim, os recursos desenvolvidos para AS são voltados para esse idioma, tornando a análise em outros idiomas mais desafiadora. A Mineração de Opinião Multilíngue (MOM) [Banea et al. 2008] surgiu para analisar textos contendo opiniões, independentemente do idioma no qual estão escritos. Os trabalhos de MOM se concentram em duas grandes frentes: 1) realizar a MOM combinando recursos já existentes para outros idiomas e tradução automática; 2) desenvolver técnicas de MOM que independam de uma linguagem alvo. Um sentimento representa uma atitude, opinião ou emoção que o autor da opinião tem sobre o alvo da mesma [Liu 2012]. Frequentemente, este sentimento é medido através de sua polaridade, que procura classificá-lo como positivo, negativo ou neutro. Outra forma de classificar o sentimento é através de classes de emoções [Plutchik 1984][Ekman 1982], tais como alegria ou tristeza. Os trabalhos em MO se concentram em classificar a polaridade, visto ser mais fácil de tratar do que emoções. Contudo, trabalhos em previsão baseada em sentimento mostram que as emoções são indicadores bem mais discriminantes no comportamento do que a simples polaridade (e.g. [Asur and Huberman 2010][Tumasjan et al. 2010][Bollen et al. 2011]), além de existirem várias aplicações importantes baseadas na detecção de emoções (e.g. diagnóstico de distúrbios psicológicos) [Mohammad 2012]. Considerando-se as mesmas carências da MO para idiomas diferentes do inglês, pretende-se contribuir com a área através de técnicas para classificar emoções explorando corpora multilíngues. Neste trabalho, desenvolvemos experimentos para comparar duas abordagens de MOM para Mineração de Emoções em um corpus paralelo. Os experimentos consideram dois objetivos: 1) comparar duas abordagens de classificação de emoções, a saber, baseada em léxico de sentimentos e em aprendizado de máquina; 2) na classificação baseada em aprendizado de máquina, verificar se algum idioma produz melhores resultados em isolado (monolíngue) ou combinado (multilíngue). Os resultados mostram que o aprendizado de máquina é superior ao uso de léxico de sentimento, o que é interessante, já que léxicos estão restritos a linguagens específicas. Não há diferença significativa entre os idiomas testados. Contudo, a classificação baseada em treinamento multilíngue teve desempenho marginalmente superior ao treinamento monolíngue. Estes experimentos são importantes para compreender a contribuição de técnicas multilíngues de MO para a classificação de emoções considerando textos em línguas tradicionalmente sem recursos léxicos/sintáticos, como a língua portuguesa. O artigo segue estruturado da seguinte forma: a Seção 2 apresenta os trabalhos relacionados estudados para o desenvolvimento do trabalho; a Seção 3 descreve a estrutura dos experimentos, incluindo o corpus e recursos utilizados, o método de classificação, os resultados e suas considerações; o trabalho é encerrado com conclusões e trabalhos futuros na Seção Trabalhos Relacionados MO utiliza duas principais estratégias para classificar o sentimento: a abordagem léxica: baseada no uso de léxico de sentimentos, ou em aprendizado de máquina (que necessita de dados rotulados para treinamento [Tsytsarau e Palpanas 2012]). Léxicos (ou dicionários) de sentimentos consistem em um conjunto de palavras rotuladas para uma 128

3 medida de sentimento, sendo polaridade a mais encontrada. Dentre os algoritmos de aprendizado mais usados na MO, se encontram Naïve Bayes e SVM [Liu 2012][Tsytsarau e Palpanas 2012]. Entre as dificuldades da MOM, podem ser destacadas a carência de léxicos de sentimentos em idiomas diversos e de corpora anotados para aprendizado supervisionado. Os trabalhos de MOM em sua maioria lidam com geração de recursos para outros idiomas usando como medida polaridade. É o caso do trabalho de Banea et al. [2008], que a partir de tradução automática de recursos existentes em inglês cria recursos para MOM em espanhol e romeno. Outros trabalhos optam por fazer análise de sentimentos sem recursos dependentes de idioma, como o de Narr et al. [2013], que utiliza emoticons para criar dados de treinamento a partir de tweets em diversos idiomas. Entretanto, esses trabalhos estão restritos ao uso de polaridade. As limitações da polaridade de sentimento são consideradas em trabalhos que agregam emoção à polaridade para desenvolver modelos preditivos melhores (e.g. bilheteria de cinema [Asur and Huberman 2010], movimentação de ações [Bollen et al. 2011], eleições [Tumasjan et al. 2010]). Mohammad [2012] identifica emoções em livros e s através da co-ocorrência de palavras de emoção usando um léxico de sentimentos em língua inglesa. Martinazzo e Paraiso [2010] classificam emoções em notícias curtas em português nas classes de emoções básicas de Ekman, exploradas a seguir, utilizando Latent Semantic Analysis. Esses trabalhos, no entanto, tratam apenas um idioma. Como são diversas as classes de emoção (como alegria e raiva), é necessário selecionar um conjunto para o estudo; entretanto os trabalhos envolvendo emoção não entram em consenso quanto a um conjunto básico de emoções, cada um utilizando um conjunto arbitrário [Ortony and Turner 1990]. Um dos conjuntos mais utilizados é o definido por Ekman [1992], que define como básicas as classes de emoção joy, sadness, anger, fear, disgust e suprise 1. Outro conjunto utilizado é o de Plutchik [1984], que adiciona ao conjunto de Ekman as emoções trust e anticipation 2. Diferente da polaridade, onde uma categoria se opõe à outra (positiva versus negativa), nem toda emoção possui uma emoção oposta, o que complica a análise envolvendo negação no texto. Outro aspecto importante é que uma emoção pode ser considerada positiva ou negativa, dependendo do contexto: surpresa durante um filme pode ser considerada positiva, enquanto surpresa no funcionamento de um produto pode ser negativa se o produto não apresentou o funcionamento esperado. Os trabalhos relacionados ou lidam com emoções ou trabalham com MOM, havendo uma escassez de trabalhos que abordem os dois temas. Em um estudo preliminar [Santos et al. 2014] com corpora comparáveis, concluímos que a tradução automática do corpus é uma abordagem viável para MOM. O presente trabalho visa contribuir para a área comparando abordagens distintas para minerar emoções em textos multilíngues: uso de léxico de sentimentos e uso de aprendizado de máquina, utilizando um corpus multilíngue. 1 Termos traduzidos: alegria, tristeza, raiva, medo, repugnância e surpresa. 2 Termos traduzidos: confiança e expectativa. 129

4 3. Experimentos Usando um corpus paralelo, os experimentos relatados neste trabalho têm dois objetivos: a) fazer uma comparação entre duas abordagens de MOM para classificação de emoções: baseada em léxico de sentimentos e baseada em aprendizado de máquina; b) comparar os resultados de classificação supervisionada por idioma, ou combinação de idiomas. Para a classificação das emoções, serão utilizadas as 8 categorias de Plutchik, por serem aquelas adotadas pelo dicionário de sentimentos utilizado, a saber, NRC (detalhado na seção 3.1). Para a abordagem baseada em aprendizado supervisionado, será utilizada a classificação Naïve Bayes, por apresentar bons resultados na área, como amplamente relatado na literatura [Liu 2012][Tsytsarau e Palpanas 2012]. Uma das limitações da área é que existem poucos léxicos de emoções, havendo divergências entre as classes de emoções consideradas. Pela classificação de Plutchik ser bastante citada, assim como o uso de NRC para este fim, adotamos estas 8 categorias. Contudo, esta falta de consenso nas classes de emoção é uma das motivações de uma abordagem independente de recursos específicos, como a baseada em aprendizado supervisionado. Assim, com o primeiro objetivo buscamos responder a questão: "É melhor depender de um recurso específico para um idioma, como o NRC, ou de uma abordagem independente de linguagem, como o classificador Naïve Bayes?. Os idiomas envolvidos são inglês (corpus e léxico) e português (corpus). Optouse pelo idioma português por não haver variedade de recursos para este idioma, e pela facilidade de obtenção de um corpus paralelo. Considerando os idiomas envolvidos e o uso de um corpus paralelo, procura-se saber, a partir da abordagem de aprendizado de máquina no segundo experimento, se é melhor classificar os textos a partir do idioma inglês, português ou da combinação de ambos?. Como não há uma versão em português do léxico de sentimento usado, não há como fazer essa verificação na abordagem de léxico de sentimento. Ambas as abordagens consideram a classificação da emoção nos textos em português, explorando o corpus paralelo. Para a classificação baseada em léxico, buscase o texto em inglês correspondente, classificando-o com o léxico NRC, e os rótulos de emoção resultantes são projetados para o texto em português. Já na abordagem de aprendizado de máquina, um classificador para cada emoção baseado no algoritmo Naïve Bayes é treinado usando os textos do corpus. Os termos contidos nos textos em português, em inglês ou na combinação de ambos são usados. Os experimentos comparam as duas abordagens, bem como o uso de idiomas específicos ou de combinações destes no aprendizado supervisionado Corpus e recursos utilizados O corpus utilizado para os experimentos é composto por estrofes de letras de música do site letras.mus.br, tendo sido coletadas músicas de 3 bandas arbitrariamente escolhidas por possuírem uma vasta quantidade de músicas traduzidas. As letras extraídas estão no idioma inglês (idioma original) e português (tradução feita por usuários do site), como mostra a Figura 1. O corpus obtido é paralelo, isto é, os textos obtidos são a tradução um do outro, possuindo a mesma estrutura. Pode-se expandir esse corpus para outros idiomas, contanto que seja possível realizar o alinhamento. A principal vantagem deste 130

5 tipo de corpus é que, por ser paralelo, não é necessário anotar o texto em cada idioma, visto que os textos são os mesmos e a anotação pode ser projetada para as traduções. Figura 1. Exemplo de letra de música - retirado do site letras.mus.br. A maior parte das letras é dividida em estrofes de diferentes tamanhos. Optou-se por realizar a análise em nível de estrofe para facilitar a identificação das emoções, já que podem variar ao longo da música. Assim, esperamos atingir um nível maior de consenso na anotação. As estrofes são utilizadas em seu estado bruto, sem passar por pré-processamento, como corretor gramatical ou remoção de stopwords. Foram anotadas 850 estrofes no idioma português, que classificaram cada uma das 8 emoções presentes no NRC segundo a seguinte escala: não evoca (NE), evoca vagamente (EV) ou evoca claramente (EC). Ao final, é feita a uniformização dos valores das anotações, para validar os classificadores, na qual os casos discordantes recebem a intensidade definida pela maioria. Se não há concordância, a intensidade é convertida pra evoca vagamente. A Tabela 1 mostra a concordância média entre os anotadores A1, A2 e A3, calculadas sobre todas as 8 emoções. A Figura 2 mostra a distribuição nas estrofes das emoções segundo cada intensidade. Nota-se que as classes são desbalanceadas. Um total de 152 estrofes não evocam nenhuma emoção. Tabela 1. Concordância média e desvio padrão entre os anotadores. A1xA2 A2xA3 A1xA3 A1xA2xA3 Concordância média 0,682 0,703 0,712 0,576 Desvio padrão 0,158 0,171 0,163 0,

6 Figura 2. Gráfico de distribuição nas estrofes de emoções por intensidade. Utilizamos o léxico NRC Emotion Lexicon [Mohammad and Turney 2013], que contém palavras em inglês rotuladas para polaridade e 8 classes de emoções (Emoções = {joy, sadness, anger, fear, disgust, suprise, trust, anticipation}). Para cada palavra contida no NRC, há uma indicação (0 ou 1) para cada uma das categorias de emoção e de polaridade (positiva e negativa), conforme mostrado na Figura 3. Um termo pode ter valor 1 para mais de uma categoria (e.g. lovely). Figura 3. Trecho do léxico NRC. Foi utilizado o classificador Naïve Bayes disponível na ferramenta Weka [Hall et al. 2009], em conjunto com a linguagem Java Classificação As emoções das estrofes foram classificadas usando dois tipos de classificadores: léxico e aprendizado supervisionado. Em ambos os casos, as emoções identificadas nos textos dependem das palavras usadas. A princípio, cada estrofe recebe valor 0 para cada categoria de emoção; ao final da classificação, ela recebe rótulos de emoção, compostos pelas emoções e suas respectivas intensidades, isto é, xne, xev, xec, onde x Emoções. As Figuras 4 e 5 mostram um esquema simplificado dos classificadores de cada abordagem. Para a abordagem utilizando léxico de sentimentos, as estrofes no idioma português são classificadas usando suas correspondentes em inglês, mesmo idioma do NRC. Cada palavra contida na estrofe em inglês é buscada no dicionário, e se encontrada, a emoção correspondente é incrementada nos valores associados ao termo no dicionário. Ao final da busca, a soma final dos valores de emoção da estrofe é normalizado pelo total de palavras da estrofe, resultando em um valor entre 0 e 1; é associada uma intensidade à emoção conforme o valor obtido: para valores entre 0 e 0,05, a intensidade é NC ; para valores entre 0,05 e 0,1, EV ; e valores acima de 0,1 recebem a intensidade EC. Esses rótulos são então projetados para a respectiva estrofe em português. 132

7 Figura 4. Classificação baseada em léxico de sentimento. Figura 5. Classificação baseada em aprendizado de máquina. Para a abordagem baseada em aprendizado de máquina, são construídos 8 classificadores, um para cada emoção, cujas classes são as intensidades de cada emoção (NE, EV, EC). Para o treinamento e validação dos classificadores, foram feitos experimentos com os termos extraídos das estrofes em português, em inglês e da concatenação de ambos. Para preparação dos dados foram testadas várias opções, entre elas: unigramas versus n-gramas; uso ou remoção de stopwords; representação de termos binária ou com pesos (frequência e TF-IDF); seleção de atributos. A configuração que trouxe melhores resultados foi o uso de unigramas, representação de peso usando TF-IDF; uso de stopwords, e seleção de atributos com Information Gain. Para comparar uso de léxico de sentimento e aprendizado de máquina, são analisadas as estrofes classificadas em português. Já para a comparação entre classificação monolíngue versus multilíngue, são analisadas as estrofes classificadas pelo Naïve Bayes em cada idioma, assim como a combinação deles. Os experimentos são validados utilizando 10-fold cross-validation. Os resultados são apresentados a seguir Resultados e Considerações Finais Devido ao desbalanceamento das classes, os resultados foram analisados utilizando as medidas: precisão, revocação e medida-f ponderadas em função do número de instâncias das classes de cada emoção (xne, xev e xec, onde x Emoções). A Figura 6 mostra os resultados, comparando a classificação baseada em léxico e em aprendizado de máquina, esta última usando as estrofes em português. 133

8 Joy Surprise Fear Sadness Anger Disgust Trust Anticipation Joy Surprise Fear Sadness Anger Disgust Trust Anticipation Joy Surprise Fear Sadness Anger Disgust Trust Anticipation Joy Surprise Fear Sadness Anger Disgust Trust Anticipation Joy Surprise Fear Sadness Anger Disgust Trust Anticipation 29 th SBBD SBBD Proceedings ISSN October 6-9, 2014 Curitiba, PR, Brazil 1,0 0,8 0,6 0,4 0,2 0,0 Precisão Média Ponderada Revocação Média Ponderada Medida-F Média Ponderada NRC Naïve Bayes Figura 6. Gráfico de comparação entre as abordagens de léxico de sentimento (uso de NRC) e aprendizado de máquina (uso de Naïve Bayes). É possível observar que os resultados utilizando Naïve Bayes são muito superiores, analisando precisão, revocação e medida-f há uma diferença estatisticamente significativa segundo o teste-t (p = 2,75-37 ). O classificador Naïve Bayes não está limitado aos termos contidos no NRC, não é dependente de recursos linguísticos, e permite explorar um pré-processamento nos dados não aplicável à abordagem baseada em léxico. Vale ressaltar que o classificador usando NRC depende de um corpus paralelo ou de tradução automática para tratar outros idiomas, diferente do Naïve Bayes, que necessita apenas de textos rotulados para os idiomas tratados. A simplicidade da abordagem, aliada ao fato de não necessitar de recursos específicos, adicionam vantagens ao aprendizado de máquina. Por outro lado, seus resultados são bastante dependentes do tamanho e qualidade do corpus de treinamento. O corpus utilizado, ainda de tamanho pequeno, exigiu um esforço considerável. Esse esforço, contudo, é menor do que o trabalho necessário para a criação de um dicionário de sentimentos. A Figura 7 mostra os resultados da segunda parte do experimento, no qual comparamos os resultados de classificadores Naïve Bayes testando separadamente os idiomas português, inglês e a combinação dos dois idiomas. 1,0 0,8 0,6 0,4 0,2 0,0 Português Inglês Português + Inglês Precisão Média Ponderada Revocação Média Ponderada Medida-F Média Ponderada Figura 7. Gráfico de comparação da classificação entre os idiomas português e inglês, usando Naïve Bayes. 134

9 Os resultados analisando todas as métricas mostram que a classificação de textos em português são minimamente superiores aos resultados obtidos com o idioma inglês para a maioria das emoções (joy, sadness, disgust, trust e anticipation), entretanto, não há melhoria estatisticamente significativa segundo teste-t (p = 0,5). A diferença poderia ser maior caso lematizadores fossem usados para ambos os idiomas, visto que o português possui mais flexões, mas este é um recurso escasso para língua portuguesa. Com a combinação da estrofe original e a tradução, esperava-se que os resultados fossem melhores, visto que a disponibilidade de textos em múltiplos idiomas costuma auxiliar a desambiguação [Banea et al. 2010]. Com efeito, pode-se ver que a revocação da classificação que usa a combinação das estrofes em português e em inglês é maior para todos os casos, enquanto a precisão é melhor para a maioria das emoções, o que confirma que uma análise multilíngue é superior à análise monolíngue. Entretanto, as melhoras não são significativas quando comparadas com os resultados individuais de português e inglês, segundo o teste-t (p = 0,257 e p = 0,055, respectivamente). Entre as limitações do trabalho está o tratamento de negação. Como os classificadores lidam com cada palavra, pode ser identificada uma emoção que não deveria estar presente devido a uma negação na frase. Entretanto, diferente da polaridade, onde uma negação pode levar o sentimento de positivo/negativo para negativo/positivo, não há como definir emoções contrárias no conjunto analisado. Por exemplo, joy e sadness podem ser consideradas contrárias, mas é difícil definir as emoções opostas a, por exemplo, surprise ou anticipation. Por esta razão, optou-se por não tratar negação. A MOM frequentemente tem seus resultados dependentes da qualidade da tradução automática. Para evitar esta dependência, o corpus paralelo foi extraído de um site de músicas brasileiro, onde a princípio as traduções são feitas por usuários do mesmo. Espera-se que sejam superiores, mas não há como garantir a qualidade das traduções obtidas e uma validação manual não é viável, devido ao esforço necessário. Para cada emoção, o corpus é desbalanceado. Cada estrofe possui, em média, duas emoções presentes, geralmente classificadas como evoca vagamente. Em poucas estrofes a emoção foi anotada evoca claramente. Isto faz com que o restante das emoções não estejam presentes em cada estrofe, resultando que a melhor representada para todas as emoções é não evoca. Isso se deve à escolha das músicas não levar em consideração quais emoções estariam presentes. 4. Conclusões e Trabalhos Futuros Este artigo analisou qual abordagem, entre uso de léxico de sentimentos e aprendizado de máquina, possui melhores resultados para classificação de emoções em textos multilíngues. Os resultados mostram que aprendizado de máquina é superior. Outro objetivo foi verificar qual idioma, entre inglês e português, possui melhores resultados na classificação de idiomas, usando Naïve Bayes para isso. Os resultados mostram que não há diferença na classificação a partir de textos em português e inglês. Ainda neste ponto, verificou-se que fazer a análise combinando ambas as versões da estrofe produz resultados marginalmente melhores. 135

10 Em experimentos futuros, pretendemos investigar se o uso de um lematizador pode melhorar a qualidade da classificação Para isto, é necessário que este recurso esteja disponível para ambos os idiomas. Além disso, aumentaremos a quantidade de idiomas tratados, alinhando traduções das letras de músicas que compõem o corpus paralelo. Sobre o corpus usado, pretendemos expandi-lo, o que demanda grande esforço manual. Outro ponto a ser investigado é a avaliação de outros algoritmos de aprendizado de máquina, como o SVM, por exemplo. Agradecimentos Este trabalho foi parcialmente financiado pelo CNPq projeto /2012/6. A primeira autora recebeu bolsa do CNPQ. Referências Asur, S., & Huberman, B. A. (2010, August). Predicting the future with social media. In Web Intelligence and Intelligent Agent Technology (WI-IAT), (Vol. 1, pp ). IEEE. Banea, C., Mihalcea, R., Wiebe, J., & Hassan, S. Multilingual subjectivity analysis using machine translation. In EMNLP (pp ), Banea, C., Mihalcea, R., & Wiebe, J. (2010, August). Multilingual subjectivity: are more languages better?. In Proceedings of the 23rd International Conference on Computational Linguistics (pp ). Association for Computational Linguistics. Bollen, J., Mao, H., & Pepe, A. (2011, July). Modeling public mood and emotion: Twitter sentiment and socio-economic phenomena. In ICWSM. Ekman, P. An argument for basic emotions. Cognition & Emotion 6.3-4: , Hall, Mark et al. The WEKA data mining software: an update. ACM SIGKDD explorations newsletter, v. 11, n. 1, p , Liu, B. Sentiment analysis and opinion mining. Synthesis Lectures on Human Language Technologies, 5(1), 1 167, 2012 Martinazzo, B., & Paraiso, E. C. (2010). Identificação de Emoções em Notícias Curtas. In CLEI-Conferência Latino-Americana de Informática (Vol. 1, pp. 1-10). Mohammad, S. M. (2012). From once upon a time to happily ever after: Tracking emotions in mail and books. Decision Support Systems, 53(4), Mohammad, S. M. & Turney, P. D. NRC Emotion Lexicon. NRC Technical Report, 2013, December. Narr, S., Hülfenhaus, M. & Albayrak, S. Language-independent twitter sentiment analysis. KDML, Ortony, A., & Turner, T. J. (1990). What s basic about basic emotions? Psychological review, 97(3), 315. Plutchik, R. (1984). Emotions: A general psychoevolutionary theory. Approaches to emotion, 1984, Santos, A. G. L., Becker, K., & Moreira, V. Um estudo de caso de mineração de emoções em textos multilíngues. Anais do Brasnam, Brasília, p. Tsytsarau, M., & Palpanas, T. Survey on mining subjective data on the web. Data Mining and Knowledge Discovery, 24(3), , Tumasjan, A., Sprenger, T. O., Sandner, P. G., & Welpe, I. M. (2010). Predicting Elections with Twitter: What 140 Characters Reveal about Political Sentiment. ICWSM, 10,