UNIVERSIDADE FEDERAL DA BAHIA

Transcrição

1 UNIVERSIDADE FEDERAL DA BAHIA INSTITUTO DE MATEMÁTICA DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO Camila dos Santos ANÁLISE DA VIRALIDADE EM EVENTOS ACADÊMICOS ATRAVÉS DAS REDES SOCIAIS Salvador 2014

2 Camila dos Santos ANÁLISE DA VIRALIDADE EM EVENTOS ACADÊMICOS ATRAVÉS DAS REDES SOCIAIS Monografia apresentada ao Curso de graduação em Ciência da Computação, Departamento de Ciência da Computação, Instituto de Matemática, Universidade Federal da Bahia, como requisito parcial para obtenção do grau de Bacharel em Ciência da Computação. Orientadora: Daniela Barreiro Claro Salvador 2014

3 AGRADECIMENTOS Primeiramente, gostaria de agradecer a Deus, por ter me dado a oportunidade, forças e sustento para concluir mais uma etapa em minha vida. Agradeço a minha família e amigos pelo apoio e ajuda nos tempos difíceis. Agradeço a orientadora pela paciência, apoio, orientação e por ter me ajudado na realização deste trabalho. Agradeço aos colegas e professores que conheci durante estes 5 anos, com certeza aprendi muito com cada um de vocês.

4 RESUMO Devido ao crescimento das redes sociais, as pessoas têm cada vez mais exposto e espalhado suas opiniões e sentimentos nestas redes. Neste sentido, muitos trabalhos estão extraindo informações destas redes, como por exemplo do Twitter. Assim, o presente trabalho tem por principal objetivo classificar os tweets, a fim de somente selecionar os eventos acadêmicos e minerar a opinião e viralidade, a fim de analisar a propagação destes eventos da área educacional. Através dos experimentos realizados, observamos que o algoritmo SMO tem um bom desempenho tanto na classificação como na análise de opinião e que os seminários acadêmicos são mais propagados que os demais tipos de eventos educacionais. Palavras-chave: Viralidade, Mineração de Opinião, Mineração de Texto, Eventos.

5 ABSTRACT Due to the growth of social networks, people are increasingly exposed and spread their views and feelings on these networks. In this sense, many works are extracting information from these networks, such as Twitter. The present work has the main objective to classify the tweets in order to select only the academic events and mine the opinion and virality, in order to analyze the spread of these events in the education sector. Through the experiments, we observed that the algorithm SMO performs well both in classification as in the opinion analysis and academic seminars are propagated more than other types of educational events. Key-words Virality, Opinion Mining, Text Mining, Events.

6 LISTA DE FIGURAS 1 Frase O que está acontecendo? do Twitter Nível de documento Nível de aspecto Etapas da proposta Trecho do arquivo.arff Interface da ferramenta Weka

7 LISTA DE TABELAS 1 Categorias comuns das redes sociais. Extraído de (AGGARWAL, 2011) Matriz de confusão 2 x Exemplo de tweet coletado Distribuição dos tweets por tipo de evento Quantidade de tweets etiquetados manualmente na Classificação Lista de stopwords Quantidade de tweets etiquetados manualmente na Mineração de Opinião Exemplo de tweets de eventos acadêmicos para cada sentimento Resultados da classificação do conjunto de treinamento Resultados da classificação do conjunto de teste Resultados do conjunto de treinamento da Mineração de Opinião Resultados do conjunto de teste da Mineração de Opinião Total de tweets classificados como positivo, negativo e neutro pelo classificador Naive Bayes Multinomial Total de tweets classificados como positivo, negativo e neutro pelo classificador Random Tree Total de tweets classificados como positivo, negativo e neutro pelo classificador SMO Viralidade dos tweets por categoria

8 SUMÁRIO Lista de Abreviaturas e Siglas 1 Introdução Objetivos do Trabalho Estrutura do Trabalho Fundamentação Teórica Redes sociais Twitter Viralidade Mineração de Opinião Etapas da Mineração de Opinião Sumarização dos resultados Métricas de avaliação da Mineração de Opinião Algoritmos Naives Bayes Random Tree SVM Proposta Visão geral Coleta de dados Pré-processamento

9 3.4 Classificação Mineração de opinião Análise da viralidade Sumarização dos resultados Trabalhos Relacionados Detecção de eventos Mineração de texto e de opinião no Twitter Redes sociais na educação Viralidade em redes sociais Experimentos e Resultados Ambiente Classificação Mineração de Opinião Análise da Viralidade Discussões Conclusão Principais contribuições Trabalhos Futuros Referências 40

10 LISTA DE ABREVIATURAS E SIGLAS RT Retweet TF Term Frequency (Freqüência do Termo) IDF Inverse Document Frequency (Freqüência Inversa do Documento) SMO Sequential Minimal Optimization (Otimização Sequêncial Miníma) CSV Comma-Separated Values (Valores separados por vírgulas) MT Mineração de Texto PMI Pointwise Mutual Information (Ponto de Informação Mútua) ARFF Attribute-Relation File Format (Formato de arquivo atributo-relação) TDT Topic Detection and Tracking (Detecção de Tópicos e Rastreamento) API Application Programming Interface (Interface de Programação de Aplicativos) JSON JavaScript Object Notation (Notação de Objeto de JavaScript) SVM Support Vector Machine (Máquina de vetores de suporte) PLN Processamento de Linguagem Natural ROC Receiver Operating Characteristics AUC Area Under Curve (Área sob a curva) QP Quadratic Programming (Programação quadrática)

11 10 1 INTRODUÇÃO As pessoas têm compartilhado suas experiências com outros, mesmo antes de surgirem os telefones e celulares, e atualmente com a Internet e as redes sociais, é possível compartilhar as experiências com mais pessoas e em pouco tempo obtendo assim um maior alcance. As redes sociais online são aplicações web, que permitem interação entre seus usuários. Elas tem exercido um papel importante na propagação de informações, o que antes era espalhado de boca-a-boca pelas pessoas, agora tem livre acesso pelas redes sociais. Esse tem sido uma forma de grande importância para a área da divulgação, enquanto que a propagação de boca-a-boca pode levar mais tempo para ganhar um alcance maior, a divulgação online tende a se espalhar mais rapidamente em pouco tempo. Nos últimos anos o uso de redes sociais como Facebook 1, Twitter 2, Youtube 3, entre outras, tem se tornado cada vez mais comum, para compartilhar informações, sendo uma maneira fácil e rápida de opinar sobre diversos assuntos, como notícias, eleições, esportes, produtos, entre outros. O Twitter é um microblogging, onde os usuários postam mensagens com até 140 caracteres, chamadas tweet. Os usuários podem marcar tweets como favorito (favorite), compartilhar os tweets (retweet) e responder um tweet (reply). O Twitter tem sido utilizado não só por empresas, como uma forma de marketing, mas também por jornalistas para ajudar em investigações, para encontrar por pessoas que testemunharam algum incidente ou evento, para assim esclarecerem o ocorrido (MYERS, 2014). O Twitter é uma rica fonte de opiniões, ao responder a simples pergunta O que está acontecendo?, ver Figura 1, as pessoas tem postado o que pensam sobre diversos assuntos do país e do mundo. O fato de não apenas produzir conteúdo, como também consumir e interagir torna o Twitter um ótimo lugar para expor opiniões que vão desde um acontecimento particular até um

12 11 de proporções maiores, sem receios. Figura 1: Frase O que está acontecendo? do Twitter. Há uma grande disseminação de tweets sobre eventos em geral, as pessoas postam os eventos que participaram, tais como: shows, casamentos, jogos de futebol, entre outros. Mas se observa que há poucos trabalhos voltados para a análise de eventos acadêmicos. É de suma importância, entender a frequência da viralidade, além da opinião dos participantes, sobre os eventos acadêmicos, para a criação de políticas públicas voltadas para esse tipo de evento. A possibilidade em se conseguir informações que auxiliem as universidades e organizadores no melhor investimento para uma maior divulgação desse tipo de evento nas redes sociais, posibilita assim a melhoria da estrutura e alcance dos eventos. De certa forma, isso também pode contribuir para um aumento da qualidade dos eventos, já que os participantes podem dá um feedback em tempo real, sendo mais rápido o retorno para ambas as partes. O trabalho proposto tem como principal objetivo classificar os tweets, a fim de somente selecionar os eventos acadêmicos e minerar a opinião e viralidade, para analisar a propagação destes eventos da área educacional, para entender as características da propagação dos eventos acadêmicos postados no Twitter. Eventos acadêmicos foram escolhidos por ser um assunto de interesse, de modo geral, para as universidades. Percebe-se o problema de que não há uma maior divulgação desses eventos e de que os participantes pouco expressam suas opiniões e impressões do ocorrido nesses eventos. 1.1 OBJETIVOS DO TRABALHO O objetivo principal deste trabalho é avaliar a viralidade de eventos acadêmicos selecionados no Twitter. Para obter essa meta definida, os seguintes objetivos específicos foram cumpridos: Realização de um estudo dos métodos a serem utilizados, na classificação de texto e mineração de opinião;

13 12 Seleção dos tipos de viralidade que serão analisadas; Coleção de um conjunto de dados que será processado; Pré-processamento dos dados coletados; Aplicação dos métodos escolhidos tanto para classificação de texto quanto para mineração de opinião; Realização da análise da viralidade dos dados; Interpretação os resultados obtidos da aplicação dos métodos. 1.2 ESTRUTURA DO TRABALHO O presente trabalho encontra-se dividido, de forma organizada, em sete capítulos, com o objetivo de explicar os principais conceitos, o desenvolvimento, os experimentos, os resultados e conclusão. No capítulo 2 são apresentados alguns trabalhos relacionados; No capítulo 3 são descritos os principais conceitos sobre Redes Sociais, Viralidade e Mineração de Opinião, que serão necessários para compreender o trabalho; No capítulo 4 é apresentada a metodologia deste trabalho; No capítulo 5, são mostrados detalhadamente as etapas dos experimentos realizados; No capítulo 6, são apontados os resultados obtidos nos experimentos. Além de discutir os resultados dos experimentos realizados; Por fim, no capítulo 7 são destacados algumas características observadas durante a realização do trabalho. Também são apresentadas algumas propostas para trabalhos futuros.

14 13 2 FUNDAMENTAÇÃO TEÓRICA Nesse capítulo serão descritos os principais conceitos utilizados neste trabalho, para o entendimento do mesmo. Como também os algoritmos SMO, Naives Bayes e Random Tree. 2.1 REDES SOCIAIS Cada pessoa está inserida em alguma rede social seja pelos familiares, amigos, colegas do trabalho ou por ser membro de alguma organização ou clube (PRELL, 2011). O termo rede social pode ser definido como uma rede de relacionamentos, onde os nós ou vértices são os atores (ou grupo de atores) e as arestas são os relacionamentos entre esses atores (ou grupo de atores) (AGGARWAL, 2011). Já redes sociais online são aplicações web que permitem os usuários criarem seu próprio perfil contendo informações pessoais (reais ou virtuais) e mantendo uma relação de "amigo"com outros membros em diferentes locais (ABRAHAM, 2012). As redes sociais online podem ser categorizado conforme a Tabela 1 Tabela 1: Categorias comuns das redes sociais. Extraído de (AGGARWAL, 2011). Categoria Blogs Microblogs Opinion Mining Photo and video Sharing Social bookmarking Social networking sites Social news Wikis Exemplos Blogger, LiveJournal, WordPress Twitter, GoogleBuzz Epinions, Yelp Flickr, YouTube Delicious, StumbleUpon Facebook, LinkedIn, MySpace, Orkut Digg, Slashdot Scholarpedia, Wikihow, Wikipedia, Event maps Existem atualmente várias redes sociais, entre as mais usadas estão o Facebook, Twitter, LinkedIn 4, Tumblr 5. Sendo que o Twitter é a terceira rede social mais acessada no Brasil (DIGI

15 14 TAL, 2014) TWITTER Criado em 2006 por programadores da empresa Odeo em San Francisco, California. O Twitter se tornou uma das redes sociais online mais populares da atualidade (JOHNSON, 2013). O Twitter é um microblogging - uma versão menor e mais leve do blog - no qual é possível postar mensagens contendo até 140 caracteres, conhecidas como tweets. Os tweets podem conter texto, fotos e vídeos, que são postados em tempo real entre seus seguidores. Os usuários ainda podem responder um tweet, na função Reply; compartilhar, na função Retweet; marcar como favorito, na função Favorite; e marcar tweets com o uso de hashtags # (DEVELOPERS, 2014b). O Twitter possui dois tipos de APIs (Application Programming Interface) a Rest 6 e a Streaming 7. A API Rest prover o acesso de leitura e escrita nos dados do Twitter, e identifica as aplicações e usuários do Twitter usando o OAuth e os resultados estão disponíveis em JSON (DEVELOPERS, 2014c). Já a API Streaming busca tweets e outros eventos que ocorrem sem nenhuma sobrecarga associada à emissão de um terminal REST (DEVELOPERS, 2014d). Na API REST do Twitter contém algumas formas para requisitar dados, tais como o get search /tweets que retorna uma coleção de tweets relevantes a uma determinada consulta. Utilizando a URL abaixo: h t t p s : / / a p i. t w i t t e r. com / 1. 1 / s e a r c h / t w e e t s. j s o n com os seguintes parâmetros q, que é requerido sendo a palavra-chave da consulta lang, é opcional e restringe a linguagem dos tweets (DEVELOPERS, 2014a). 2.2 VIRALIDADE Uma definição para viralidade é a habilidade de espalhar uma informação para uma parcela máxima de um público-alvo em um curto período de tempo (VAISH et al., 2012). Viralidade pode ser um processo de fluxo de informação social onde muitas pessoas encaminham simultaneamente uma informação específica, em um curto período de tempo, dentro de suas redes sociais. A mensagem se propaga resultando em uma forte aceleração no número de pessoas que são expostas a mensagem (NAHON; HEMSLEY, 2013)

16 15 Em relação à viralidade o elemento chave é o compartilhamento. A existência de informação e eventos virais, não é algo recente. As informações eram propagadas, porque as pessoas compartilhavam, mesmo antes do surgimento da internet. A novidade está em entender como alguns conteúdos podem alcançar muitas pessoas em poucas horas, minutos e dias (NAHON; HEMSLEY, 2013). Sendo utilizada em várias áreas, como no marketing e na política. A viralidade nas redes sociais online tem algumas métricas (GUERINI; STRAPPARAVA; OZBAL, 2011): Apreciação: o quanto as pessoas gostam de um determinado conteúdo, expressa pelo click do botão like(facebook) ou favorite(twitter) Propagação: o quanto as pessoas tendem a compartilhar este conteúdo por encaminhá-lo para outras pessoas, expresso pelo compartilhamento(facebook) ou retweet(twitter) Rumor simples : o quanto as pessoas tendem a comentar um determinado conteúdo Rumor positivo: o quanto as pessoas tendem a comentar em um positivo humor Rumor negativo: o quanto as pessoas tendem a comentar em um negativo humor Aumentar a discussão: a capacidade de induzir a discussão entre os usuários Controversalidade: a capacidade de dividir a audiência em diferentes partes (geralmente pró e contra o conteúdo dado) Para saber se um comentário é de caratér positivo ou negativo, pode-se recorrer as técnicas da mineração de opinião, descrita na próxima seção. 2.3 MINERAÇÃO DE OPINIÃO Com a popularidade das redes sociais online, houve um aumento do volume de opiniões dos usuários referentes a diversos assuntos, tais como produtos, política, esportes, catástrofes e acontecimentos de todo o mundo. Esse grande volume de dados, é útil se for usada de forma apropriada. Mineração de opinião, conhecida também por Análise de Sentimento, é uma área computacional que estuda opiniões, sentimentos, avaliações, atitudes, afeições, visões, emoções e subjetividade, expressos de forma textual, tais como em páginas Web, posts, comentários, tweets, revisões de produto, etc. Sendo uma das áreas que envolve o Processamento de Linguagem Natural (PLN), mineração de dados, mineração web e mineração de texto. Dado uma parte

17 16 de um texto, o sistema de mineração de opinião pode ser estruturado com as seguintes etapas (BECKER; TUMITAN, 2013): identificar as opiniões expressas sobre determinado assunto ou alvo em um conjunto de documentos; classificar a orientação ou polaridade desta opinião, isto é, se tende a ser positiva, neutra ou negativa; apresentar os resultados de forma agregada e sumarizada. A opinião é composta de pelo menos dois elementos: a) um alvo e b) um sentimento sobre este alvo. Um alvo pode ser uma entidade, aspecto de uma entidade, ou tópico, representando um produto, pessoa, organização, marca, evento, etc. Já um sentimento representa uma atitude, opinião ou emoção que o autor tem a respeito do alvo. A extração de opinião em texto pode ocorrer em diferentes níveis de granularidade (SANTOS, 2013): Documento: neste nível classifica-se um documento onde a opinião pode ser positiva e negativa. Assumindo que cada documento expressa opinião de uma entidade, como por exemplo a opinião sobre um filme. Não é aplicado a documentos que fazem avaliação e comparação entre várias entidades, conforme Figura 2. Figura 2: Nível de documento. Sentença: classifica cada sentença de um documento, em positiva, negativa ou neutra. Sendo possível também diferenciar as sentenças em objetivas(expressam fatos) e subjetivas(expressam opiniões). "Professora participa de Congresso sobre Educação Ambiental em Lima no Peru" Sentença objetiva "Palestra ótima com o RP do Tihany Universidade de Sorocaba" Sentença opinião positiva

18 17 Entidade ou aspecto: diferente dos níveis de documento e sentença, este nível descobre a opinião focando na entidade ou em um aspecto e não nas estruturas (documento, sentença ou orações), conforme Figura 3. Sendo uma das análises mais dificéis de realizar (BECKER; TUMITAN, 2013). Figura 3: Nível de aspecto ETAPAS DA MINERAÇÃO DE OPINIÃO Um sistema de mineração de opinião é composto por três tarefas genéricas: coleta de dados, classificação e sumarização dos resultados. Vários tipos de conteúdos podem ser usados na mineração de opinião, principalmente dos blogs, anúncios, comentários, revisões, documentos, redes sociais, entre outros. A classificação é a etapa mais importante, onde as opiniões serão classificadas em neutra, positiva ou negativa. Para alcançarmos esse objetivo, existem três diferentes abordagens: métodos baseados em aprendizado de máquina, métodos baseado em estatística e métodos baseados na orientação semântica (BECKER; TUMITAN, 2013). A seguir falaremos um pouco de cada um deles. A análise de sentimento geralmente é formulada como um problema de classificação de texto em duas categorias: positivo e negativo. Com o objetivo de identificar automaticamente padrões estruturados/regras úteis de um grande conjunto de dados. O aprendizado de máquina pode ser dividida em: aprendizado supervisionado e aprendizado não-supervisionado (LIU, 2012). O aprendizado de máquina supervisionado será utilizado nesse trabalho. Na mineração de opinião predomina o uso do aprendizado supervisionado, onde utiliza os métodos de classificação e regressão (BECKER; TUMITAN, 2013). No problema de classificação, é necessário aprender um modelo para a classificação com o conjunto de treinamento, onde as categorias são conhecidas; e predizer as categorias do conjunto de teste, baseado no modelo existente. Dentre os algoritmos de classificação, os mais usados são: Support Vector Machine

19 18 (JOACHIMS, 1998), Naïve Bayes (RISH, 2005), Maximum Entropy (BERGER; PIETRA; PIETRA, 1996) (FELDMAN; SANGER, 2006). O processo do algoritmo de aprendizado supervisionado, inicia-se com o conjunto de treinamento, onde são conhecidas as características e a classe. Quando um algoritmo de aprendizado supervisionado executa o conjunto de treinamento é gerado um modelo. Esse modelo mapeia as características com as classes. Então o modelo quando executado com o conjunto de teste onde as classes são desconhecidas, e assim faz a predição das classes desconhecidas (ZAFARANI; ABBASI; LIU, 2014). Geralmente a classificação de texto classifica em diferentes tópicos, mas na classificação de sentimento, os sentimentos ou palavras de opiniões são mais relevantes, como: bom, ruim, etc. Também são utilizadas um conjunto de características, para melhorar os resultados obtidos, por exemplo: Termos e suas frequências: São palavras individuais (uni-gram) ou seus n-grams, com o número de frequência associado. Sendo muito comum considerar a posição das palavras e o TF-IDF. TF-IDF é uma medida que avalia quão importante uma palavra é para um documento de um corpus, apresentada na Equação 2.1 (CROFT; METZLER; STROHMAN, 2009); T F IDF(t) = ( d ft num t ) (log N d ft ) (2.1) Part-of-speech: Palavras de diferentes partes do discurso, part-of-speech(pos), devem ser tratadas de formas diferentes. O POS usa modelos estatísticos de texto para predizer as tags sintáticas das palavras (CROFT; METZLER; STROHMAN, 2009). Por exemplo, os adjetivos são considerados importantes indicadores de opinião. Palavras e frases: São palavras que expressam sentimentos positivos e negativos em uma determinada linguagem. Por exemplo, bom, legal, ótimo, maravilhoso são palavras de sentimento positiva, e ruim, péssimo, terrível são palavras de sentimento negativo. Os nomes (alegria, felicidade) e verbos (amar, odiar) também podem expressar sentimentos. Além de palavras individuais as frases e expressões podem expressar algum sentimento, por exemplo, custa o olho da cara. Regras de opinião: É a composição de palavras individuais que formam uma expressão com sentimento, que precisa de um senso-comum ou domínio de conhecimento para determinar sua polaridade.

20 19 Dependência Sintática: As palavras baseada na dependência são geradas por análise ou árvores de dependência (LIU, 2012). Na abordagem estatística, as palavras que expressam opinião geralmente são encontradas juntas na base de dados. Caso a palavra ocorra mais frequentemente próximo a palavras positivas(negativas), provavelmente seja positiva(negativa). Se ocorre em igual frequência, a palavra pode ser considerada neutra. O cálculo para encontrar a polaridade pode ser feita com a técnica PMI (Pointwise Mutual Information) (BECKER; TUMITAN, 2013). PMI é uma medida utilizada para medir a relação entre uma ou mais palavras, fazendo uma comparação com as probabilidades, ajudando a identificar um relacionamento entre as palavras. Se e é uma entidade e p é uma palavra que tem probabilidade P(e) e P(p), essa medida é dada pela Equação 2.2. PMI(e, p) = log (P(e p)) (P(e)P(p)) (2.2) Onde a probabilidade P é medida pela frequência das palavras no corpus analisado. A probabilidade conjunta entre a entidade e e uma palavra p é dada contando as ocorrências de ambas as palavras num intervalo definido no texto, que pode ser uma distância d entre palavras, uma frase, um parágrafo ou até um documento (LOPES et al., 2008). A abordagem orientada a semântica, analisa sintaticamente o conteúdo, identificando os adjetivos e advérbios que podem indicar o sentimento dos textos. Sendo necessário um analisador sintático eficiente e conteúdos compostos por sentenças sintaticamente corretas (SOUZA, 2011). Difere da abordagem estatística apenas que a polaridade é calculada em termos de alguma medida de distância entre termos. Sendo que palavras semanticamente próximas devem ter a mesma polaridade.pode ser usada como complemento à outras abordagens, para expandir ou adquirir vocabulário específico, na ausência de bons dicionários de sentimento. Mas ainda carece de métodos mesmo que manuais para a validação da polaridade atribuída (BECKER; TU- MITAN, 2013) SUMARIZAÇÃO DOS RESULTADOS Depois da classificação, em algumas aplicações, principalmente as que tem mais dados, é necessário obter os resultados de uma forma que seja de fácil entendimento. Para isso, existem algumas formas, através de textos ou gráficos. A forma gráfica é a mais comum, por apresentar os dados totais e estatísticos, facilitando a interpretação.

21 MÉTRICAS DE AVALIAÇÃO DA MINERAÇÃO DE OPINIÃO As medidas de desempenho servem para saber se o modelo construído é eficaz (SANTOS, 2013) e para fazer comparação entre métodos. A matriz de confusão é o resultado dos classificadores após a execução nos conjuntos de treinamento e de teste, como é apresentada na Tabela 2. Bons modelos apresentam altos valores na diagonal principal da matriz (VP e VN) e baixos valores na diagonal secundária (FN e FP) (OLIVEIRA, 2012). Tabela 2: Matriz de confusão 2 x 2. Valor Verdadeiro ( confirmado por análise ) Positivos Negativos Valor Previsto ( predito por teste ) Positivos VP (Verdadeiro Positivo) FP (Falso Positivo) Negativos FN (Falso Negativo) VN (Verdadeiro Negativo) Para medir a qualidade da predição, utiliza-se medidas de desempenho da Recuperação de Informação, como a acurácia, a precisão (FELDMAN; SANGER, 2006), recall e F-measure. A acurácia (Equação 2.3) ou taxa de acerto de uma categoria é a porcentagem de classificação correta dos documentos entre todos documentos que pertencem a essa categoria. A precisão (Equação 2.4) é a porcentagem de classificação correta dos documentos entre todos documentos que foram classificados a essa categoria (FELDMAN; SANGER, 2006). O recall (Equação 2.5) é a porcentagem de classificação correta dos documentos entre todos documentos que realmente pertence a essa categoria e a F-measure (Equação 2.6) que é uma medida harmônica entre precisão e o recall. Assumindo valores no intervalo [0,1], é 0 quando nenhum documento relevante foi recuperado e é 1 se todos os documentos recuperados são relevantes e todos documentos relevantes foram recuperados (ZHANG; ZHANG, 2009). acuracia = V P +V N P + N (2.3) precision = V P FP +V P (2.4) recall = V P V P + FN (2.5) F-measure = 2 precision recall precision + recall (2.6) Outra alternativa é o uso dos gráficos ROC, que são gráficos bidimensionais, onde o eixo Y tem o valor referente a quantidade de verdadeiros positivos e no eixo X tem o valor dos falsos

22 21 positivos (SILVA, 2006). Uma forma de comparar curvas ROC é utilizando o cálculo da área sob a curva (AUC), que é uma medida escalar variável no intervalo de 0 e 1. Os classificadores com o maior valor de AUC, são considerados os melhores classificadores (GOMES, 2006). 2.4 ALGORITMOS NAIVES BAYES O algoritmo do Naives Bayes, é um dos mais simples algoritmos baseado no teorema de Bayes (ZAFARANI; ABBASI; LIU, 2014). Este algoritmo é caracterizado pela classe independente condicional, pois o valor de atributo de uma classe é independente dos valores dos outros atributos. Esse algoritmo tem uma alta acurácia e um menor tempo de execução, quando aplicado a grandes banco de dados (HAN; KAMBER; PEI, 2011). Existe dois modelos usados no aprendizado: modelo Naives Bayes Binário, onde considera a presença dos termos nos documentos; e o Naives Bayes Multinomial, onde são consideradas as frequências dos termos dentro de cada documento. No treinamento calcula-se a probabilidade condicional P(t i c) de um termo t i pertencer a classe c j, além da probabilidade a priori P(c j ) dos documentos ocorrerem na classe c j. A partir de P(t i c j ) e P(c j ), calculadas para o conjunto de treinamento, é aplicado o classificador a partir do cálculo da probabilidade P(c j d), onde d é o conjunto de termos abrangidos no documento que se deseja classificar, com uso da equação: P(c j d) = P(c j) d i=1 P(t i c j ) C k=1 P(c k) d i=1 P(t i c k ) (2.7) - onde d é a quantia de termos do conjunto d e C é o número total de classes (SCHULLER et al., 2011) RANDOM TREE Árvores de decisão é um modelo preditivo que aplica um conjunto binário de regras para calcular as categorias (HORNING, 2002). Apresentado por Leo Breiman e Adele Cutler (BREI- MAN, 2001), esse algoritmo é uma coleção de árvores(floresta) de predição que funciona da seguinte forma: para cada árvore da floresta é clasificado o vetor de dados; a classificação que recebeu mais votos é escolhida (BREIMAN; CUTLER, 2002). Como vantagens tem-se: não há necessidade de poda; acurácia e variável de importância são gerados automaticamente; não ocorre