Pesquisa em Redes Sociais Online. Fabrício Benevenuto

Transcrição

1 Pesquisa em Redes Sociais Online Fabrício Benevenuto Universidade Federal de Ouro Preto. 15 de setembro de

2 Mudança de perspecfva da Web Web 2.0: Usuários deixam de ser expectadores e passam a ser criadores de conteúdo Se o Facebook e o Twi@er fossem países... 2

3 YouTube - 24 horas de vídeos recebidos por minuto 3

4 Por que redes sociais online? Propósito comercial 1.2 bilhões de dólares invesfdos em propaganda em 2007 Campanhas polífcas Grande volume de dados Recuperação e distribuição de conteúdo Aspectos sociológicos Reprodução do comportamento humano Registro de interações sociais 4

5 Redes Experimento small world de Milgram (1967): Dado um indivíduo em Boston, passe a mensagem para uma pessoa que você conhece que é a mais próxima do alvo até que a mensagem afnja o alvo. Princípio dos 6 graus de separação

6 Experimento de Milgran Pessoa alvo trabalhava em Boston como corretor 296 enviaram cartas 20% alcançaram o alvo comprimento médio da seqüência = 6.5

7 Redes small world Existência de caminhos curtos Pessoas em sociedade, com conhecimento local de amigos, foram capazes de colefvamente entregar uma carta para um desfno remoto Os seis graus de separação

8 Redes small world

9 Redes small world Experimento de Dodds, Muhamad, Science 301, (2003) 18 alvos, 13 países diferentes parfcipantes seqüência de mensagens alcançaram alvos - Maior parte dos caminhos médios entre 2 e 7

10 Redes small world Alvos do experimento - Um professor na Ivy League university - Um inspetor na Estônia, - Um consultor tecnológico na Índia - Um policial na Austrália - Um veterinário no exército Norueguês

11 Redes small world

12 Redes small world

13 Ciências sociais + Web 13

14 Minha pesquisa Analisar e modelar comportamentos sociais com o uso de bases de dados reais extraídas de redes sociais online Construir aplicações inteligentes Novos algoritmos e modelos Melhor recuperação e distribuição de conteúdo 14

15 Desafios tecnológicos Coleta de dados Medição e Análise Construção de aplicações Elos sociais, usuários, páginas, postagens, blogs, vídeos, fotos, metadados, etc. Coleta precisa ser rápida e completa Armazenamento Processamento distribuído e paralelos Memória compartilhada Análise, simulação, visualização Algoritmos Modelos 15

16 Temas em redes sociais online Análise e modelagem de comportamento social Detecção de comportamento oportunista Predição de popularidade, evolução temporal de redes sociais Propagação de informação, influência social, comunidades e homofilia Teorias e modelos sobre comportamento coletivo Sistemas de recomendação, ranking e recuperação de conteúdo (tempo real) Análise de sentimentos e mineração de opiniões Segurança, privacidade, riscos e confiança Mashups e agregação de conteúdo Parelelismo, algoritmos para grandes grafos 16

17 Cenário de coleta em larga escala Cerca de 2 TB coletados Lista branca para 58 máquinas no MPI- SWS requisições/hora em cada máquina Inspeção de IDs sequências Dados coletados 55 milhões de usuários 2 bilhões de arestas (quem segue quem) 1.8 bilhões de tweets Dados oferecem uma certa posição de liderança 17

18 Spam no SPAM Usuários postam URLs não relacionadas ao conteúdo 18

19 Detecção de spam no 1. Coleta do e criação de uma coleção de usuários manualmente rotulados como spammers ou não spammers 2. Caracterização do comportamento dos usuários - IdenFficação de caracterísfcas capazes de disfnguir spammers de não spammers 3. Criação de um método de detecção de spammers que ufliza as caracterísfcas do comportamento dos usuários F. Benevenuto, G. Magno, T. Rodrigues, V. Almeida. DetecFng Spammers on Twi@er. CEAS 10. Julho, SubmeFdo ao ACM TIST 19

20 Coleção rotulada #musicmonday Susan Boyle Michael Jackson usuários analisados dos quais 355 são spammers 20

21 Comportamento dos spammers Mais de 60% dos spammers com CC abaixo de 0.01 Coeficiente de clusterização probabilidade dos vizinhos de um nodo estarem conectados IdenFficação de 70 atributos com poder discriminafvo 21

22 Classificação automáfca Micro- F1 = 88.6% Macro- F1 = 86.2% Diferentes grupos de métricas Perfil: Micro F1 = 83.7% Macro F1 = 78.8% Conteúdo: Micro F1 = 87.3% Macro F1 = 84.1% Redes sociais: Micro F1 = 86% Macro F1 = 82.4% Diferentes grupos de atributos podem obter bons resultados 22

23 Formas de coleta de dados Interviews and polls Intermediary points: proxies or aggregators Traces from servers or public data collected by crawling Traces from applications Traffic aggregators Online Social Network Third-party applications Dataset: Clickstream Dataset: Registro de interações 23

24 User activities in Orkut Profile & Friends Browse profile, homepage, list of friends, friend updates, members of communities, fans, etc. Communities join/leave post in topics browse communities, topics, list of communities, etc. Scrapbook write browse Messages write browse Videos browse list of favorites watch a video Testimonials write browse written and received Photos Edit/Organize photos browse photos, albums, photos, list of albums, comments in photos, photos tagged Search Others Applications user settings Browsing accounts for 92% of all activities! 85% of the active users showed only silent interactions! 24

25 Sequence of activities Strong self-loops presented in all states Profile & Friends plays a central rule Profile & Friends plays a central role Self-loops are dominant in all categories 25

26 Interactions along the social distance Users access their 1-hop friends pages most frequently Interaction with 2+ hops friends is not negligible 26

27 Why users access 2+hop friends? 1) Marge upload a picture 2) Homer receives the update 3) A friend of Marge comments the photo 4) The comment appears in Homer s updates 5) But he doesn t know who is this guy! Nice picture, Marge. Content discovery through social links Most of the 2-hop friends accesses come from homepage and scrapbook 27

28 Impacto da produção cienufica +470 citações, h- index 10 (publish or perish) 1 patente provisória (EUA) Prêmios Ceas 11, SBBD 10, Webmedia 09, CTIC 05 e CTIC 09 28

29 Algumas idéias para dissertação Projetos na graduação Projeto UOL: Mapa geográfico temporal do no Brasil Bolsa de iniciação PIBIC: Análise de SenFmentos Bolsa de iniciação PIBIT: Sistema distribuído para encurtar URLs