Análise de sentimentos para português brasileiro usando redes neurais recursivas

Transcrição

1 Análise de sentimentos para português brasileiro usando redes neurais recursivas Henrico Bertini Brum 1, Fábio Natanel Kepler 1 1 Ciência da Computação Universidade Federal do Pampa (UNIPAMPA) Caixa Postal Alegrete RS Brasil 1. Introdução henrico.brum@gmail.com, fabiokepler@unipampa.edu.br Redes sociais online têm se tornado uma importante plataforma de comunicação que agrupam diversas informações, entre elas opiniões e sentimentos expressos por seus usuários em simples conversas ou mensagens [Araújo et al. 2013]. O conteúdo presente nas redes sociais, por exemplo, se estende desde análises e comentários sobre filmes e programas televisivos até conversas e experiências dos seus usuários. Esses dados não se encontram estruturados em um formato compreensível para um algoritmo ou sistema computacional trivial. A área de Processamento de Linguagem Natural (PLN) provê técnicas que podem facilitar a compreensão de dados em linguagem humana, de maneira que possamos usar como entrada uma sentença em linguagem natural e termos como saída um conjunto de dados extraídos desta. Neste trabalho estudamos técnicas de PLN que nos possibilitam extrair o sentimento, ou a intenção de sentenças no idioma português brasileiro, dividindo sentenças em três categorias - sentenças positivas, negativas ou neutras. 2. Estado da Arte Alguns autores investigaram diferentes técnicas para analisar sentimentos em senteças. [Araújo et al. 2013] analisou oito técnicas diferentes para a extração dos sentimentos para o português. Foram testadas abordagens envolvendo redes neurais e aprendizado supervisionado especificamente para o microblog Twitter. [Strapparava and Mihalcea 2008] se concentraram na construção de um conjunto de dados anotados usando Latent Semantic Analysis para seis emoções: raiva, desgosto, medo, satisfação, tristeza e surpresa. Ambos os trabalhos usaram bases de dados em inglês. [Pak and Paroubek 2010] e [Go et al. 2009] pesquisaram métodos para extração de postagens com marcação de polaridade associada baseado-se em emoticons presentes no texto, supervisionando o treinamento das palavras de cada postagem. Abordagens como essas visam buscar por elementos que possibilitem categorizar uma sentença, porém essa análise muitas vezes não consegue considerar a composição do sentido da sentença. Em nosso trabalho buscamos uma técnica que analisasse o sentido e a composição inteira das sentenças, sendo possível categorizar corretamente sentenças mais complexas, contendo ironias ou subsentenças variando positividade e negatividade. Em [Socher et al. 2013], os pesquisadores propõem uma abordagem que envolve um robusto Treebank de Sentimentos e um modelo de rede neural recursivo que utiliza um tensor

2 agregado à estrutura. Esse trabalho se tornou o estado da arte da análise de sentimentos para o idioma inglês, o que nos motivou para utilizar o modelo em português brasileiro. Em nosso trabalho replicamos o modelo de Rede Neural Recursiva com Tensor (RNTN) proposto por [Socher et al. 2013], geramos um Treebank de sentimentos para o português e realizamos testes de acurácia sobre nosso modelo treinado com o treebank formado. 3. Metodologia e recursos Na Figura 1 podemos acompanhar os procedimentos descritos nessa seção até a formação do modelo treinado de análise de sentimentos. Figura 1. Passos do desenvolvimento de um modelo de análise de sentimentos para português brasileiro. Para a replicação do modelo de [Socher et al. 2013], buscamos inicialmente a criação de um treebank de sentimentos para português brasileiro para o treinamento do modelo. Nossas pesquisas nos levaram ao córpus Reli [Freitas et al. 2012], um córpus de sentimentos formado a partir de resenhas do website Skoob 1. 1 Acessado em no dia 12 de Julho de 2015.

3 O conjunto completo do Reli possui sentenças e palavras. As resenhas são em relação a livros de sete autores variados, com comentários sobre livros populares ou clássicos, o que nos dará registros formais, com um vocabulário mais rebuscado, até registros mais informais contendo gírias e abreviações. Nosso córpus possui marcações em três classes, sentenças positivas, neutras e negativas, portanto reduziremos as cinco classes que [Socher et al. 2013] utiliza em seu trabalho original para as três presentes no córpus. Antes de usarmos o córpus Reli para treinar o modelo de análise de sentimentos foi necessário representá-lo em formato Penn Treebank (PTB). O formato PTB é uma representação em texto da árvore sintática de sentenças. Para extrairmos as árvores sintáticas utilizamos dois parsers - o Stanford Parser 2 [Chen and Manning 2014] e o Berkeley Parser 3 [Petrov et al. 2006]. Treinamos os dois parsers usando o córpus Tycho Brahe, que traz anotações sintáticas para português brasieiro. Esse treinamento gerou um modelo de análise sintática para nosso idioma. Em seguida, aplicamos os parsers no córpus Reli e extraímos as árvores sintáticas das sentenças. Na Figura 2 podemos ver uma sentença do córpus Reli com sua árvore sintática extraída. Podemos observar ela em formato PTB e sua representação em árvore. Figura 2. Árvore sintática extraída de sentença do córpus Reli. O próximo passo foi substituir as marcações sintáticas por marcações de sentimentos. Essa substituição foi feita por meio de scripts desenvolvidos em Python e acessíveis em O treebank formado foi submetido ao treinamento da RNTN e foi gerado um modelo de análise de sentimentos para sentenças em português brasileiro. 2 Disponível em 3 Disponível em

4 4. Experimentos e Resultados Conduzimos nossos experimentos usando a técnica de 10-Fold Cross-Validation, que é o processo de criar pares distribuídos de arquivos de treino e teste partindo de um único conjunto de dados [Sammut and Webb 2011]. Geramos 10 modelos de análise, sendo cada um deles treinado com 90% do treebank gerado e os testamos com os 10% restantes do córpus. Utilizamos como medida duas métricas - a acurácia e a acurácia combinada. A primeira é calculada sobre todas as sentenças testadas, a segunda leva em consideração somente sentenças positivas ou negativas. Usamos a medida de acurácia sobre os dados obtidos nos testes nos modelos criados com duas abordagens - acurácia sobre todas as sentenças (acurárcia simples) e acurácia sobre somente sentenças positivas ou negativas (acurácia combinada). Observamos também as marcações sobre dois aspectos - sobre a marcação feita nas sentenças inteiras e sobre a marcação feita sobre cada sintagma das sentenças. Usamos os dois parsers sintáticos para gerar dois treebanks de sentimentos, ambos sobre o córpus de sentimentos Reli. O córpus analisado sintaticamente com o Stanford Parser foi chamado de Reli.Stanford, enquanto o treebank gerado a partir da extração sintática do Berkeley Parser foi chamado de Reli.Berkeley. Na Tabela 1 temos os resultados obtidos com os dois treebanks gerados. Os resultados foram obtidos com a média dos 10 casos gerados na técnica de Cross-Validation. Tabela 1. Resultado final obtido com os dois treebanks gerados. Acurácia Simples Acurácia Combinada Em sintagmas Em sentenças Em sintagmas Em sentenças Reli.Berkeley 70,19% 69,08% 17,82% 51,18% Reli.Stanford 69,54% 67,47% 17,51% 51,36% 5. Discussão Final Em nosso trabalho apresentamos a geração de um treebank de sentimentos para o português brasileiro, assim como a aplicação desse treebank no treinamento de um modelo de análise de sentimentos usando Redes Neurais Recursivas com Tensor. O processo de geração desse treebank é importante porque é uma maneira genérica de tornar um córpus de sentimento em português brasileiro em conjunto de treinamento para o modelo proposto por [Socher et al. 2013]. Esse modelo consegue observar características composicionais complexas em sentenças e atinge resultados de estado da arte para o inglês, portanto pode servir como base para novas pesquisas na área de análise de sentimentos em português. Os resultados da pesquisa podem ser replicados e outras técnicas podem ser aplicadas a fim de gerar comparações e de se investigar melhores técnicas de análise de sentimentos para português brasileiro. Como desafios da pesquisa, podemos destacar a ausência de um córpus mais completo de sentimentos para português, com maiores variações em polaridades de sentenças e uma marcação mais específicas sobre os sintágmas das frases.

5 Referências Araújo, M., Gonçalves, P., and Benevenuto, F. (2013). Métodos para análise de sentimentos no twitter. In Proceedings of the Simpósio Brasileiro de Sistemas Multimídia e Web (WEBMEDIA). Chen, D. and Manning, C. D. (2014). A fast and accurate dependency parser using neural networks. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages Freitas, C., Motta, E., Milidiú, R. L., and César, J. (2012). Vampiro que brilha... rá! desafios na anotaçao de opiniao em um corpus de resenhas de livros. ENCONTRO DE LINGUÍSTICA DE CORPUS, 11. Go, A., Huang, L., and Bhayani, R. (2009). Twitter sentiment analysis. Entropy, 17. Pak, A. and Paroubek, P. (2010). Twitter as a corpus for sentiment analysis and opinion mining. In LREC. Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). Learning accurate, compact, and interpretable tree annotation. In Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics, pages Association for Computational Linguistics. Sammut, C. and Webb, G. I. (2011). Encyclopedia of machine learning. Springer Science & Business Media. Socher, R., Perelygin, A., Wu, J. Y., Chuang, J., Manning, C. D., Ng, A. Y., and Potts, C. (2013). Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages Citeseer. Strapparava, C. and Mihalcea, R. (2008). Learning to identify emotions in text. In Proceedings of the 2008 ACM symposium on Applied computing, pages ACM.