UNIVERSIDADE FEDERAL DE SANTA CATARINA GRADUAÇÃO EM SISTEMAS DE INFORMAÇÃO DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA DATA MINING EM REDES SOCIAIS

Transcrição

1 UNIVERSIDADE FEDERAL DE SANTA CATARINA GRADUAÇÃO EM SISTEMAS DE INFORMAÇÃO DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA DATA MINING EM REDES SOCIAIS FELIPE GONÇALVES BOTELHO PEDRO HENRIQUE ROCHA UGIONI FLORIANÓPOLIS 2012

2 Sumário 1. Introdução 2. Data Mining 3. Redes Sociais 4 Utilizações das informações 5. Mineração de dados nas Redes Sociais 6. Privacidade 7. Conclusão 8. Referencias

3 1. INTRODUÇÃO Hoje em dia um dos pontos mais fundamentais para o sucesso de uma organização é saber como é seu publico alvo. Fato se deve porque conhecendo o cliente é possível direcionar campanhas de marketing específicas e adaptar os serviços prestados à vontade do mesmo. No entanto, avaliar a vontade e opinião dos clientes em relação aos produtos e serviços oferecidos pela empresa não é tarefa simples. Uma das formas utilizadas pelas empresas para coletar tais informações é a distribuição de questionários e realização de pesquisas de opinião, que visam possibilitar uma análise da aceitação do produto oferecido bem como possíveis questões a serem mudadas. Contudo o uso de questionários em pesquisas é, muitas vezes, ineficiente. Isso porque esta forma de coleta de dados possui um alcance relativamente reduzido, o que acaba prejudicando a precisão dos dados coletados. Outro motivo é que tais técnicas possuem um custo consideravelmente alto de aplicação. Esse custo ainda é maior quando tais questionários e pesquisas não são automatizados, isto é,quando são necessárias pessoas para suas aplicações e tabulação. Já nas redes sociais, os dados são dispostos pelos usuários por vontade própria. Além de garantir um amplo alcance, evita problemas como influência nas respostas por parte de aplicadores, como o que acontece com questionários. No entanto, apesar dos dados serem distribuídos livremente em redes sociais, a captura e análise automática destes é complicada. Isso porque existem várias dificuldades envolvidas na extração de opinião de textos livres, já que a tarefa de quantificar opiniões contidas em textos, muitas vezes subjetivos, utilizando computadores é bastante complexa. Tendo este cenário em mente surge a necessidade de uma forma alternativa de coleta de dados, que não necessita da procura do cliente e nem de seu tempo dedicado. Uma das alternativas que vem sendo estudadas atualmente é o uso dos dados coletados a partir de redes sociais para geração de informações a respeito de opiniões das pessoas. As redes sociais estão inseridas no cotidiano das pessoas, alcançando um grande número de possíveis clientes. Por tudo isso, propõe-se com este trabalho a coleta de dados de uma rede social em especial e o uso destes para obtenção de informações, através da utilização de técnicas de mineração de dados.

4 2. DATA MINING Também é conhecido como mineração de dados tem como principal utilidade a varredura de grande quantidade de dados a procura de padrões e detecção de relacionamentos entre informações gerando novos subgrupos de dados. A formação de subgrupos de dados é feito pelo Data Mining através da execução de algoritmos capazes de conhecer e aprender mediante a varredura dessas informações. Baseado em sistemas de redes neurais, esses dados são examinados e pensados, gerando uma nova informação associativa com outros dados. A formação de estatísticas também é uma de suas funções gerando resultados comparativos e levando a uma tomada de decisão inteligente. Esse processamento traz resultados incríveis como por exemplo a formação de hipóteses e principalmente regras de dados a serem apresentados ao usuário Que dados o Data Mining avalia? Sem um bom sistema de gestão é difícil que grandes corporações sobrevivem, isso é notado pelo fato de que hoje em dia milhares de informações são processadas diariamente. Esses sistemas de gestão armazenam em seus bancos de dados informações corriqueiras como por exemplo: estoques, pedidos, compras, orçamentos, contábil, financeiro, jurídico, pós-venda, relacionamento com cliente, vendas entre outros. Diversos departamentos geram essas informações independentes e a função principal de um Business Intelligence é trabalhar com todo esse histórico que é inseridos diariamente e garantir que no final das contas todos os dados sejam visualizados como um todo, trazendo informações concretas, consistentes e decisivas, basicamente através da ação do Data Mining.

5 3. REDES SOCIAIS Uma rede social é uma estrutura composta por pessoas que estão conectadas por um ou vários tipos de relações, de amizade, familiares, comerciais, entre outros, ou que partilham crenças, conhecimento ou prestígio. As mídias sociais não se tratam de uma tecnologia em sí, mas sim de uma mudança de comportamento das pessoas nela contida, pois nelas não há a presença do controle editorial tratando assim de uma produção de conteúdo de forma descentralizada. Essa nova forma de comunicação, vem na contramão do que as organizações geralmente adotam, de cima para baixo, ou seja, comunicações sem nenhum diálogo ou interação com o público. Os meios de comunicação social tem transformado o modelo atual criando um sistema de comunicação descentralizado e democratizados. Wikis, twitter, fóruns, blogs, entre outros, são ferramentas que fazem parte dessa nova tendência nesse novo processo de criação do conhecimento. A grandes quantidades de informação que são geradas nessas ferramentas podem ser usadas em várias áreas, como comércio e educação. Pesquisas apontam que o número de blogs vem aumentando nos últimos anos, também foi constatado que a maioria das pessoas que publicam nesses blogs possuem um nível de formação acadêmica relevante, há muitos trabalhadores que publicam textos e fazem muitos comentários. Para o comércio este tipo de mídia é importante em dois cenários, o externo e o interno. O primeiro prove uma excelente análise de mercado, reputações de negócios e opiniões estão sendo definidas por meio destes novos canais de comunicação. 4. UTILIZAÇÃO DAS INFORMAÇÕES Dado amplo uso das rede sociais e a grande diversidade de seus usuários, surge uma série de oportunidades a serem exploradas. Um dos pontos mais interessantes e com maior potencial neste tipo de serviço é a possibilidade de apresentação de anúncios de marketing e campanhas publicitárias para os usuários. Contudo, mesmo que campanhas publicitárias genéricas possuam bons retornos e sejam amplamente utilizadas, a possibilidade de oferecer campanhas personalizadas sobre produtos específicos para determinados usuários é algo que aumentaria as chances de sucesso desta campanha. Não faz sentido oferecer produtos relacionados a esportes para alguém que fala mal ou não gosta dessa atividade. Também não seria interessante oferecer produtos para a prática de mergulho para um usuário que tem como atividade o tênis. Tendo isto em vista, fica claro que a escolha do produto a ser oferecido tem influência direta nas chances de atrair a atenção de um possível cliente. Mas como saber o que oferecer a cada usuário? Como saber os interesses de milhões de usuários de lugares diferentes? Isso, não é uma tarefa manual e exige um tratamento mais cuidadoso. Uma alternativa para solucionar este problema é o uso de técnicas de mineração de dados e descoberta de opinião, que se encaixam em um campo em grande crescimento nos últimos anos. Assim, fazendo-se uso das informações geradas pela rede e de técnicas de mineração de texto e descoberta de opinião, pretende-se obter informações que possibilitem: classificação de usuários dentro de grupos de interesses, análise de opiniões e aceitação de certos assuntos.

6 5. MINERAÇÃO DE DADOS NAS REDES SOCIAIS Hoje em dia podemos utilizar de uma abordagem que é tradicional para coletar informações, como nas redes sociais. Seria perguntando a cada membro de um grupo especifico como são as relacoes entre eles. Porém é uma maneira que possui um gasto enorme de tempo e está sujeito a uma certa quantidade de abstenções. Além do mais que diversos estudos mostram que os dados coletados por meio de questinários se diferem do que realmente é observado, quando se referimos a relatos individuais sobre interações sociais. Isso porque os entrevistados podem mentir, esquecer ou interpretar de maneira errada as interações e relações criada com os membros de seu grupo.. Devido a este fato, os pesquisadores da área estão focados em métodos automáticos para coletar esses dados dentro das redes sociais. O método mais utilizado é baseado na procura de informações de quem fala com quem. Com base nos registros das interações, esse método conta o número de mensagens trocadas entre os integrantes.esse número de interações representa a intensidade do laço entre os indivídos. Na última década as técnicas de mineração de texto tem evoluido. Esta técnica pode ser usada para a descoberta automatica de redes sociais a partir de dados textuais: documentos publicados na Internet e/ou em ferramentas textuais de comunicação online, entre outros. Os seguintes passos são necessários para descobrir redes sociais a partir de documentos de texto: Descoberta dos nós, quando todas as referências a pessoas (nomes, s,..) são identificadas. Detecção de coreferências e resolução de pseudônimos, que resolve as ambiguidades entre as pessoas. Diferenciando pessoas que tem o mesmo nome e criando uma única identidade para pessoas que tem vários pseudônimos. Descoberta de conexões, a qual determina quando existe ou não conexões sociais entre as pessoas identificadas pelos algoritmos anteriores. As seções subsequentes descrevem com mais detalhes cada um desses passos. 5.1 Descoberta dos nós A descoberta de nós a partir do texto é geralmente feita por meio da descoberta de nomes pessoais e outras referências às pessoas. Ela faz parte da chamada Reconhecimento de Nomes de Entidades (RNE). RNE é um conjunto de técnicas de mineração de texto criadas para descobrir nomes de entidades, conexões e tipos de relações entre eles Em RNE uma

7 entidade tem um conceito bem amplo, podendo ser por exemplo uma pessoa, uma organização ou uma localização geográfica. A grande maioria dos trabalhos de pesquisa na área se dedicam principalmente à descoberta de nomes pessoais, visto que encontrar pronomes e endereços eletrônicos é relativamente fácil. Os pronomes podem ser encontrados comparando cada palavra do texto com a lista de pronomes possíveis, e o endereços eletrônicos pode ser encontrados procurando padrões do tipo [parte1]@[parte2].[parte3]. 5.2 Detecção de coreferências e resoluções de pseudônimos Uma vez que os nomes e outras palavras que referenciam os indivíduos foram encontrados, o próximo passo é a detecção de coreferências e resolução pseudônimos. Esse passo possui um objetivo duplo: identificar todas as diferentes referências para a mesma pessoa (ex.: você, João, Sr. Carlos e joao.carlos@inf.ufsc.br ), e ao mesmo tempo, diferenciar duas ou mais pessoas que possuem o mesmo nome. De maneira similar ao passo anterior, a Linguística Computacional (LC) utiliza um abordagem mais geral baseada em técnicas de Aprendizagem de Máquina (AM) que tentam relacionar não somente os nomes, mas também os sintagmas nominais encontrados nas sentenças e nos documentos. Os sintagmas nominais são importantes pois os mesmos podem referenciar pessoas, organização e objetos. Neste caso, a linguística computacional utiliza técnicas de aprendizagem de máquina para determinar a probabilidade condicional de um conjunto de sintagmas nominais em relação a uma mesma entidade. O cálculo da semelhança baseados em características únicas tais como distância entre os sintagmas nominais no texto, semelhanças lexicais, frequência mútua nas frases, concordância em gênero e significado semântico, etc. A segunda parte desse passo, tanto faz parte do processo de reconhecimento de nomes e entidades quanto pode ser conduzido como um processo separado. Isso é mostrado pelas pesquisas realizadas na área de resolução de pseudônimos, e na sua utilização em aplicações como a verificação de autoria, análise de citações, detecção de spam, desambiguação de autores em bibliotecas digitais, entre outras. O objetivo de várias abordagens para a resolução de pseudônimos consiste em diferenciar duas ou mais pessoas por meio da identificação de uma assinatura única que é associada à cada pessoa. Essas abordagens baseiam-se em características linguísticas que são próprias da escrita da pessoa (ex.: estilo de escrita, sinais de pontuação, tamanho médio das sentenças, palavras-chave específicas, etc.) ou em padrões de interação baseados na rede (ex.: remetentes e destinatários comuns). Quando a extração de redes sociais é feita a partir de páginas Web, a resolução de pseudônimos é frequentemente realizada por meio da atribuição automática de um conjunto de palavras-chaves específicas ou resumos de várias sentenças contextuais para cada nome no texto. A hipótese para este caso é que duas pessoas diferentes (mesmo que possuam o mesmo nome) são usualmente mencionadas em diferentes contextos ou partes do

8 texto. Assim, a tarefa é reduzida para encontrar um conjunto de palavras discriminantes e/ou características semânticas para descrever de forma exclusiva uma pessoa em particular. 5.3 Descoberta de Conexões Depois que todos os nós da rede são identificados e agrupados de modo a representarem uma única pessoa, o próximo passo é o de descobrir como estes nós estão interligados. Existem na literatura, dois métodos principais para a descoberta automática de conexões que toma como base informação textual: o primeiro deles é baseado na similaridade dos perfis do usuário o a segundo inclui uma medida de similaridade semântica entre as palavras extraídas dos perfis. Um perfil pode ser criado manualmente pela própria pessoa (ex.: perfil do Facebook) ou construído de forma automática usando as informações disponíveis na Internet (ex.: página pessoal, s ou textos escritos por terceiros sobre a pessoa em questão). Uma maneira trivial de medir a similaridade entre dois perfis é simplesmente contar a quantidade e elementos comuns. Quanto ao segundo método, duas pessoas estão conectadas quando o valor da similaridade semântica entre os seus perfis é superior a um limiar predefinido. Em outras palavras, as pessoas são consideradas ligadas quando há uma sobreposição considerável de palavras e frases encontradas em seus perfis.

9 6. PRIVACIDADE Por um lado a mineração de dados sobre nossos perfis e gostos pode nos trazer comodidades no dia a dia, as empresas sabem o que você quer, por exemplo, mas as informações podem ser usadas incorretamente, ocasionando na invasão de privacidade. O artigo 21 do Código Civil fala que A vida privada de uma pessoa natural é de natureza inviolável, e o juiz, a requerimento do interessado, adotará as providências necessárias para impedir ou fazer cessar o ato contrário a esta norma. Um exemplo prático e atual está ocorrendo na mineração de dados do Facebook, que já está sendo questionada por grupos de privacidade. Apenas alguns dias depois da empresa declarar que está oferecendo melhores análises em campanhas de publicidade para os comerciantes, dois grupos de privacidade eletrônica pediram à Comissão Federal de Comércio de olhar se a prática viola, ou não, as concessões recentes feitas pela empresa em sua política de privacidade. O Facebook está resgatando o que o usuário compra, a fim de ajudar os comerciantes a determinar se as suas campanhas de publicidade no site estão pagando. Eles estão trabalhando com uma empresa de mineração de dados chamado Datalogix para ver se os usuários estão comprando os produtos e serviços anunciados. Datalogix compila uma base de dados gigantesca de dados de compra dos consumidores, incluindo endereços de e outras informações do usuário. Eles fazem isso principalmente seguindo o que os consumidores compram em cartões de recompensas varejista. Quando os dados são combinados com dados do Facebook sobre IDs de usuário e impressões de anúncios, os comerciantes podem ver uma imagem clara se a impressão diretamente resultou em uma compra. Essa forma de análise é comentada em uma seção inteira em sua Central de Ajuda. No entanto o acordo com o Electronic Privacy Information Center (EPIC) e do Centro para a Democracia Digital (CDD), o empreendimento de mineração de dados pode constituir uma violação dos termos estabelecidos. Basicamente, se o Facebook quer compartilhar as informações privadas do usuário com terceiros e além de suas configurações de privacidade, o Facebook tem que deixar bem claro a sua intenção de fazê-lo.

10 8. CONCLUSÃO Redes sociais online se tornaram extremamente populares e parte do nosso dia a dia, causando o surgimento de uma nova onda de aplicações disponíveis na Web. A cada dia, grandes quantidades de conteúdo são compartilhadas, e milhões de usuários interagem através de elos sociais de maneira espontanea. Apesar de tanta popularidade, o estudo de redes sociais ainda está em sua infância, já que estes ambientes estão ainda experimentando novas tendências e enfrentando diversos novos problemas e desafios. Com a mineração da dados nas redes sociais, surge uma série de oportunidades a serem exploradas, onde podemos identificar e prever comportamentos de grupos de pessoas.

11 9. REFERÊNCIAS Saiba o que é Data Mining - Alvo Conhecimento Facebook s Retail Data Mining Already Being Questioned by Privacy Groups A tendência é integrar a mineração de dados com as redes sociais - Época Negocios A+TENDENCIA+E+INTEGRAR+A+MINERACAO+DE+DADOS+COM+AS+REDES+SOCIAIS.h tml Mineração de dados e análise de opinião em redes sociais Um estudo de caso sobre as Olimpíadas 2012 utilizando o Twitter Conceitos e Aplicações de Data Mining Mineração de Dados na Web Social Mineração de texto em redes sociais aplicadas à educação a distância Coleta e Análise de Grandes Bases de Dados de Redes Sociais Online The Realities of Social Media Data Mining