Observatório da Web: Uma Plataforma para Monitoramento de Eventos em Tempo Real. Gisele L. Pappa Outubro/2013

Transcrição

1 Observatório da Web: Uma Plataforma para Monitoramento de Eventos em Tempo Real Gisele L. Pappa Outubro/2013

2

3 Observatório da Web Transforma, em tempo real, grandes volumes de dados em informações.

4 InWeb. Instituto Nacional de Tecnologia para a Web

5 Principais Desafios em se Observar a Web Grandes volumes de dados Heterogeneidade de formatos e fontes Incerteza, subjetividade e ambiguidade Evolução de padrões ao longo do tempo Dinâmica em tempo real Constante evolução tecnológica

6 Pipeline de Processamento Internet Pipeline de extração e mineração Coleta Mineração Extração e préprocessamento Pós- Process. Publicação Site e API do Observatório MongoDb(dados brutos) e Solr (indexação) MySQL Cache l Download de tweets, notícias, posts, feeds, etc. l Extração de notícias, personalidades, referências. l Organização e padronização dos dados (stemming, remoção de stopwords). l Identificação de idioma. l Expansão de URLs. l Agrupamento de notícias, personalidades, fontes. l Classificação de conteúdo. l Análise de sentimento. l Regras de associação. l Mineração de padrões frequentes l Processamento analítico (somatórios, contagens, médias, etc.) l Geração de dados estáticos. l Geração de screenshots. l Geração de imagens de grafos. Publicação de conteúdo (web service, gadget, etc). l Coleta de feedbacks de usuários. l Registro de requisições.

7 Como os dados são ob;dos? Coleta no Twi>er através da API de Streaming YouTube (API de pesquisa). Facebook: API graph. Importante lembrar que a API de busca retorna uma amostra dos dados, e tem limitações quanto ao número de requisições Feeds (RSS & Atom) de jornais, revistas e blogs específicos e consultas por palavras- chave no Blogger e Wordpress. Crawlers para sites sem feeds.

8 Alguns números da coleta (em 1 ano) l l l l l l l l ~4 milhões tweets sobre eleições ~1,7 milhão de tweets sobre o BBB ~1,5 milhão de tweets sobre a dengue ~300 milhões de tweets sobre futebol ~500 mil no^cias coletadas sobre eleições ~500 mil no^cias coletadas em vários portais desde out/2011 ~9 milhões de posts do Facebook sobre futebol ~45 mil posts do Facebook sobre a dengue

9 O que é descoberto a par;r dos dados? Cada documento (tweet, post do Facebook) é enriquecido com mais informações ou serve para novas coletas: Idioma Tópicos En;dades URLs (expansão) Rede de seguidores (Twi>er) Rede de amigos (Twi>er) Também são realizadas sumarizações e amostragens: Total por minuto por en;dade, amostragem para mapa, total de menções a hashtags, vídeos ou urls.

10

11

12

13 InWeb. Instituto Nacional de Tecnologia para a Web

14

15

16 Clusters of cities with similar dengue rates Top line: percentage of personal experience tweets on dengue Bottom line: data from official dengue reports Period: January to May 2009 Source: Gomide et al., 2010

17 Agrupamento e Caracterização dos Usuários

18 Mo;vação Escassez de dados

19 InWeb. Instituto Nacional de Tecnologia para a Web Mo;vação Cada um tem seu microfone Escassez de dados

20 InWeb. Instituto Nacional de Tecnologia para a Web Desafio Padrões de comunicação complexos

21 Para que? Empresas Entender o comportamento dos clientes Marke;ng direcionado Relacionamento com o cliente Personalização Recomendação de produtos/ serviços

22 Agrupamento de Usuários Usuário pode ser caracterizado u;llizando 2 ;pos de informações: Caracterís;cas pessoais Interesses e preferências Idade? Sexo? Classe social? Localização? Eu (não) gosto de Eu (não) quero Eu (não) uso

23 Caracterís;cas Pessoais Idade? Sexo? Classe social? Localização? Baseadas no texto do usuário Dicionários de nomes e lugares Resultados preliminares para Sexo, Idade e Estado Civil Sexo o acerto é de 98% Idade e estado civil giram em torno de 80% Problema: privacidade

24 Preferências Eu (não) gosto de Eu (não) quero Eu (não) uso Identificadas a partir dos tópicos de maior interesse do usuário - Tópico gerais que um conjunto de usuários fala com frequência em um período de tempo; - Tópico gerais discutido constantemente ao longo do tempo; - Tópicos específicos de interesse de um conjunto de usuário

25 Extração de Tópicos 4 ;pos de métodos principais são u;lizados: Agrupamento de dados com algoritmos de aprendizado de Máquina Agrupamento de dados com Modelagem Probabilís;ca Processamento de linguagem natural Métodos de fatoração de matrizes Álgebra Linear

26 Extração de Tópicos Proposta de um novo método baseado em NMF (Non- nega+ve Matrix Factoriza+on) para descoberta de tópicos NMF encontra o que chamamos de sub- tópicos semân;cos Propomos um novo método para unir vários sub- tópicos semân;cos u;lizando random walks em um grafo de tópicos

27 Análise de Preferências O caso Fiat Inves;gamos, separadamente, usuários que seguem dois perfis específicos relacionados a Fiat

28 @Fiat

29 @NovoUno

30 focam suas conversas menos em carro que seguidores do NovoUno Tem grande interesse em assuntos populares (BBB,no^cias sobre acidentes e futebol) Tem interesse maior em classificados e carros seminovos Boa parte dos seus tweets fala sobre assuntos mais voltados ao público jovem (e.g. jus;n bieber, música, adele, exaltasamba).

31 frequentemente falam sobre carros de luxo (mercedez, ferrari, bmw) - discutem aspectos técnicos associados aos carros (ex: formato de nariz, aro, motor) bem como eventos onde são expostas tendências (como o salão de genebra) Foco maior em no^cias polí;cas e/ou econômicas (ex: lei da ficha limpa, parceria internacional tam)

32 O que aprendemos? Iden;ficar o que um conjunto de usuários: Fala com mais frequência em um dado período de tempo Assuntos que permanecem ao longo do tempo. Assuntos específicos de interesse em períodos de tempo específicos.

33 Observatório da Web: Uma Plataforma para Monitoramento de Eventos em Tempo Real Gisele L. Pappa Outubro/2013