IBPAD - Análise de Redes para Mídias Sociais

Transcrição

1

2 Curso: Análise de Redes para Mídias Sociais Brasília 10 de dezembro IBPAD - Análise de Redes para Mídias Sociais

3 O que nós vamos aprender? IBPAD - Análise de Redes para Mídias Sociais

4

5 Os Softwares Mais de 30 anos

6 PA JEK Na academia, um dos principais e mais antigos softwares para Análise de Redes é o PA JEK Desenvolvido também na academia (Andrej Mrvar) Software da Eslovênia (que não é a Eslováquia) 1ª versão em dezembro de 1996 Software adaptado a vários conceitos da literatura

7 Telas do Pajek IBPAD - Análise de Redes para Mídias Sociais

8 Ucinet/NetDraw Começo dos anos 80 - Lin Freeman compilou alguns softwares de análise de redes. A suíte UCINET foi lançada em 1985 Software pago da AnalyticTech (EUA)

9 Telas do Ucinet/NetDraw IBPAD - Análise de Redes para Mídias Sociais

10 NodeXL Até o final do anopassado era gratuito Plugin para Excel Um dos primeiros softwares a capturar os dados de Mídias Sociais e a popularizar esse tipo de análise Fácil de ser manuseado Desenvolvido em um consórcio fortemente ligado a academia

11

12 igraph com R R é uma poderosa suíte de aplicativos opensources para análise de dados Pacote igraph é gratuito Versão 1.0 foi lançada em Jun de 2015 Provavelmente será a nova fronteira de integração entre grandes bases de dados e boa visualização.

13

14 Ainda estamos engatinhando... IBPAD - Análise de Redes para Mídias Sociais

15 Software open-source para Análise de Redes Desenvolvido na academia Principal responsável é o francês Mathieu Bastian Software responsável pela popularização da ARS Está na versão 0.91 É comum a versão atual do software apresentar problemas

16

17 Instalando o Gephi Versão 0.9.1

18 Instalação 1. Download Java Instalado no PC Utilizar a versão Gephi de 64bits Não é padrão (tutorial de como instalar é chatinho) 4. Instalar os plugins disponíveis

19 É a mesma versão??? IBPAD - Análise de Redes para Mídias Sociais

20

21

22 O Gephi Início do namoro

23 Dica de sobrevivência Gephi NÃO tem ctrl + z

24 Alterar o idioma IBPAD - Análise de Redes para Mídias Sociais

25 As áreas de trabalho do Gephi 1. Visão Geral 2. Laboratório de Dados 3. Visualização

26 Contexto Layout do nós e arestas Layot da rede Estatística e Filtros

27 Ajustes Propriedades de Layout + detalhes

28 Workspace Redes diferentes = Abas diferentes * Novidade na versão 0.9 IBPAD - Análise de Redes para Mídias Sociais

29 Ações gerais Ações sobre os dados Busca

30 Configurações do Layout Restaurar ZOOM!

31 Abrindo Arquivos Você vai precisar começar de algum lugar

32 CONCEITO FUNDAMENTAL - 1 O que são suas arestas?

33 CONCEITO FUNDAMENTAL - 2 O que são os seus nós?

34 CONCEITO FUNDAMENTAL - 1 O que são suas arestas? Se o grafo é direcional: A B ou não direcional: A B

35 Abrindo arquivos Formatos de rede Outros formatos univesal.graphml CSV dinâmico.gexf EXCEL Netvizz.GDF.gephi Pajek.NET Outras bases

36 Importando Exportando CSVs IBPAD - Análise de Redes para Mídias Sociais

37 CONCEITO FUNDAMENTAL - 1 É fundamental você ter clareza sobre: 1. O que são seus nós 2. O que são suas arestas E PRINCIPALMENTE 3. Se o grafo é direcional: ou não direcional: A A B B

38 Abrindo arquivos Você pode tratar a sua base no Excel e abrir no Gephi xlsx CSV Gephi

39 Abrindo arquivos São dois arquivos: 1. arestas - Um arquivo para a descrição dos arestas, com duas variáveis obrigatórias: source e target que deverão ser preenchidas por uma identificação (id) do nó 2. Nós - Um outro arquivo que faz a descrição dos nós. Nesse arquivo é importante você colocar a id correspondente, o label e qualquer outra informação sobre o dado.

40 Tabela de aresta IBPAD - Análise de Redes para Mídias Sociais

41 Tabela de Nós IBPAD - Análise de Redes para Mídias Sociais

42 Deve escolher a opção CSV no Excel IBPAD - Análise de Redes para Mídias Sociais

43 Abrindo arquivos Arquivo CSV No Gephi você deve 1. Abrir um novo projeto (Arquivo -> Novo projeto) 2. Ir para o laboratório de Dados e clicar em Importar Planilha

44 PROBLEMA COMUM: Se você não criar um novo projeto (Arquivo Novo Projeto) O Gephi não vai exibir as opções de importar arquivos IBPAD - Análise de Redes para Mídias Sociais

45 Abrindo arquivos Arquivo CSV Pasta Exemplos: Achar os dois arquivos: Dining Table Partners - nos.csv Rede de Nós Dining Table Partners - lacos.csv Rede de arestas

46 Abrindo arquivos Arquivo CSV Dica: Abra sempre o arquivo de nós primeiro e em seguida o arquivo de arestas

47 Escolha qual tabela você vai importar Codificação é importante. Tente sempre Windows-1250 ou UTF-8 Separador pode ser diferente Confira seus dados

48 Você pode importar OUTROS ATRIBUTOS. O FUNDAMENTAL é escolher exatamente qual é a importação que você quer. Numéricos: Números inteiros Byte: -128 a 17 Short: a Integer: a Números Decimais Float: 1,4E-45 até 3, E+38 Double: + Binário: Boolean (True/False) Texto: String

49 RESUMO: String Variáveis Qualitativas/Categóricas Integer Quantitativas Discretas ou Qualitativas Ordinais Float/Double Variáveis Quantitativas Contínuas

50 1 Clique em configurações DICA: Ative a opção de mostrar rótulos de nós de origem e destinos

51 DICA: Resultado

52 Painel Conexto mostra que tipo de rede você está importando e a quantidade de nós e arestas IBPAD - Análise de Redes para Mídias Sociais

53 Netlytic IBPAD - Análise de Redes para Mídias Sociais

54 Abrindo arquivos Netlytic Rede de Retuítes Abra o Netlytic Escolha a página Escolha uma base criada Escolha a exportação Graphml

55 Abrindo arquivos Netlytic Rede de Retuítes GRAPHML

56 Dados do Netvizz IBPAD - Análise de Redes para Mídias Sociais

57 Arquivos da exportação A tabular file (tsv) that lists a series of metrics for each post. A tabular file (tsv) that lists basic stats per day for the period covered by the selected posts. A tabular file (tsv) that lists page fan numbers per country (only for overall top 45 countries). A tabular file (tsv) that contains the text of user comments (users anonymized). A bipartite graph file (gdf) that shows posts, users (anonymized), and connections between the two. A user is connected to a post if she commented or reacted on it.

58 Escolha entre os últimos posts ou em um período específico. Não esqueça de selecionar! Você pode baixar apenas as estatísticas ID da página Posts da página ou dos usuários também?

59

60 Dados do Netvizz IBPAD - Análise de Redes para Mídias Sociais

61

62 Abrindo arquivos Netvizz Rede de curtidas de uma página Abra o Netvizz Escolha a página Rede de curtidas Profundidade ID da página

63 Abrindo arquivos Netvizz Rede de curtidas de uma página Aguarde e faça o download Abra o arquivo compactado Abra o Arquivo.gdf Faça o download do arquivo.zip

64 Descrição das variáveis importadas e como elas foram importadas pelo Gephi Verifique se o grafo é dirigido ou não

65 Rede de curtida de páginas Vamos praticar? Abra o Gephi Abrir arquivos Encontre na pasta de exemplos: \netvizz\blogueiras Plus Size

66 Selecione todos os arquivos zipados!!!!

67

68

69 Exercício 2 IBPAD - Análise de Redes para Mídias Sociais

70 MAPEANDO REDES DE PÁGINAS NO FACEBOOK: NETVIZZ Tempo: 10 minutos! Parte 1 Parte 2 Parte 3 Escolha um segmento de interesse (e polemicidade) como um ao lado Páginas de Direita Páginas de Esquerda Fãs de Televisão Páginas de Fofoca Páginas LGBT Páginas Separatistas Páginas Feministas Páginas Plus Size Procure por 10 páginas no segmento Anote nome e URL das páginas em uma planilha Excel ou Google Drive Vá em findmyfbid.com ou lookupid.com para descobrir (e anotar) as Ids das páginas

71 MAPEANDO REDES DE PÁGINAS NO FACEBOOK: NETVIZZ Tempo: 5 minutos! Parte 1 Parte 2 Parte 3 Acesse a opção Page Like Network em netvizz/ Adicione o ID de cada página, baixe e reserve os arquivos (.zip, que contem.gdf)

72 Cases de Redes Redes redes redes redes redes

73 Copa do Mundo 24 de abril a 12 de maio de Foram 147 mil tuítes analisados em uma rede de 80 mil arestas. 4 grandes grupos

74 Rede dos fãns do One Direction. Eles vieram ao Brasil no final de semana do dia 11 de maio. A rede representa 20% das menções capturadas.

75 A rede em vermelho são de perfis essencialmente de humor/memes. A rede em amarelo é essencialmente sobre a Copa do Brasil

76 A REDE Essa é a principal rede de Debates sobre a Copa do Mundo. Representa 47% das menções capturadas

77 A rede principal A rede principal foi separada em quatro grandes grupos.

78 Rede Esporte - Futebol Rede dos Organizadores A rede principal Rede Esporte - Copa Rede Imprensa 1. Organizadores 2. Imprensa 3. Esporte Futebol 4. Esporte - Copa

79 Rede que se dialoga com o Governo A rede Governo está muito perto da rede de perfis tradicionailmente críticos não só a Copa do Mundo, mas ao Governo como um todo. Será que não estamos nos preocupando com a rede errada? Rede mais crítica, dos jornais impressos Como podemos observar, as duas redes não se configura como a maioria do debate. E os veículos especializados? Fãclubes? Times de futebol?

80 Curso: Análise de Redes para Mídias Sociais Parte 2 Brasília 10 de dezembro IBPAD - Análise de Redes para Mídias Sociais

81 Layouts Saindo do estado de natureza

82 Vamos trabalhar com um exemplo Abram a rede de Dining Table \Gephi\diningtable.gephi

83 Layouts e visualização dos Dados Essenciais para construir uma rede fácil de ser lida Não existe o melhor layout, mas o layout que melhor se adequa aos olhos do pesquisador

84 Layouts e visualização dos Dados Layouts podem ser GEOMÉTRICOS RELAÇÃO DE FORÇA

85 Layouts e visualização dos Dados Layouts podem ser GEOMÉTRICOS

86 Layouts e visualização dos Dados Circular Exemplo Layout para construir gráfico circular Ordena os nós com relação a um atributo

87 Layouts e visualização dos Dados Radial Exemplo Permite ordenar a rede em formato circular baseado em grupo e cria uma ordenação dentro de cada grupo que pode ser baseado em outra métrica

88 Layouts e visualização dos Dados Layouts podem ser RELAÇÃO DE FORÇA

89 Intuitivamente... IBPAD - Análise de Redes para Mídias Sociais

90 Intuitivamente... IBPAD - Análise de Redes para Mídias Sociais

91 Layouts e visualização dos Dados Fruchterman-Reingold Exemplo Um dos mais tradicionais layouts (1991) Baseado em força (forcedirected) Simula um conjunto de massa de partículas Melhor para redes pequenas

92 Layouts e visualização dos Dados OpenOrd Exemplo Para redes não direcionais Melhor algoritmo para distinguir os clusters Excelente para redes gigantes

93 Dica de sobrevivência OpenOrd é para redes não direcionais Mas funciona também em redes direcionais Quando estiver trabalhando com grandes redes, pause o algoritmo quando encontrar um ponto adequado

94 Layouts e visualização dos Dados ForceAtlas 2 Exemplo Evolução do Force Atlas Excelente para grandes redes Todas as redes do LABIC são Force Atlas 2

95 LABIC - #primeiroassedio IBPAD - Análise de Redes para Mídias Sociais

96 Dica de sobrevivência Utilize Force Atlas 2 e configure alguns parâmetros: Para não precisa rodar o não sobrepor Aumente o grafo e não expanda Para o grafo ficar um circulo

97 Dica de sobrevivência Rodar um layout e depois outro faz diferença! Use isso em seu benefício

98 FR Normal FR Depois de OpenOrd

99 Layouts e visualização dos Dados Ajuste - Expansão Ajuste - Contração Ajustes são FUNDAMENTAIS para se construir uma rede O Layout sozinho não faz milagre Para diminuir. Atenção na configuração do parâmetro. Acima de 1 expande e menor que 1 contrai Expansão serve para aumentar o grafo

100

101 Layouts e visualização dos Dados Ajuste Não sobrepor Ajuste - Rótulo Cuidado pois costuma travar em grandes redes Para Ajustar os rótulos Ajuste - Girar Gira a rede em sentido horário ou anti-horário

102 Dica de sobrevivência Pontos pretos no meio da rede são nós encavalados Expanda a rede Ou retire a linha do nó

103 Dica de sobrevivência Utilize Force Atlas 2 e configure alguns parâmetros: Melhore o processamento Para não precisa rodar o não sobrepor Aumente o grafo e não expanda Para o grafo ficar um circulo

104 LABIC IBPAD - Análise de Redes para Mídias Sociais

105 Influenciadores IBPAD - Análise de Redes para Mídias Sociais

106 INFLUENCIADORES Capítulo de Influenciadores Gabriel Ishida

107 INFLUENCIADORES 1. Broadcasters

108 INFLUENCIADORES 2. Conectores

109 INFLUENCIADORES 3. Legitimadores

110 Exercício Rápido IBPAD - Análise de Redes para Mídias Sociais

111

112 Busque para cada rede blog.ibpad.com.br/cursos/guns/ blog.ibpad.com.br/cursos/ivete/ Qual é a banda conectora A banda com maior audiência A banda mais central para um grupo

113 As métricas IBPAD - Análise de Redes para Mídias Sociais

114 As Métricas de Redes Existem dois grandes conjuntos de métricas para Análise de Redes que analisam os seguintes elementos: NÓS REDE ARESTAS

115 As Métricas de Redes Existem dois grandes conjuntos de métricas para Análise de Redes que analisam os seguintes elementos: NÓS

116 Métricas dos Nós Seus atributos na rede Seus atributos em relação a rede Grau Grau de Entrada Grau de Saída Grau de Intermediação (Betweenness) Grau de Proximidade (Centrality) AutoVetor/PageRank

117 Métricas dos Nós Grau do Nó Exemplo Quantidade de conexões do nó

118 Métricas dos Nós Grau de Entrada Exemplo Apenas para redes DIRECIONADAS É a quantidade de conexões recebidas pelo nó

119 Métricas dos Nós Grau de Saída Exemplo Apenas para redes DIRECIONADAS É a quantidade de conexões que o nó faz

120 Análise da distribuição das frequências (histograma) IBPAD - Análise de Redes para Mídias Sociais

121 O que pode significar? Grau de Entrada Grau de saída Pefil muito retuitado por publicar texto engajador, notícias, novidades Perfis famosos Menções de um perfil que está sendo monitorado Movimento de citação em massa Perfis de SAC Ativistas Curadores de conteúdo Articuladores

122 Métricas dos Nós Grau de Intermediação (Betweenness) Exemplo Medida de ponte Quantas vezes aquele nó está entre outros grupos de nós Influência que um determinado nó tem no espalhamento de informação na rede (Newmann, 2003)

123 Métricas dos Nós Grau de Centralidade (Closeness Centrality) Exemplo Medida de distância - Quanto um determinado nó está próximo dos demais na rede Distância média de um determinado nó inicial para todos os demais nós da rede

124 Métricas dos Nós Autovetor/Pagerank Exemplo Eigenvector leva em conta não apenas as conexões dos nós, mas também suas conexões indiretas. Pagerank desenvolvido pelos criadores do Google em 1998 Desempenho melhor em grafos direcionados

125 Diferença entre as métricas Intermediação Centralidade Pagerank

126 A Grau Quantidade de Conexões

127 A Grau Quantidade de Conexões B Centralidade (Closeness) Centralidade em relação a toda a rede

128 A Grau Quantidade de Conexões B Centralidade C Intermediação (Closeness) Centralidade em relação a toda a rede (Betwenness) Centralidade em relação a toda a rede

129 A Grau Quantidade de Conexões B Centralidade C Intermediação D Auto-Vetor (Closeness) Centralidade em relação a toda a rede (Betwenness) Centralidade em relação a toda a rede (Eigenvector) Conexões com nós bem conectados

130 Importante selecionar se a rede é direcional ou não direcional IBPAD - Análise de Redes para Mídias Sociais

131

132 Estatísticas da Rede Tamanho máximo Tamanho médio

133 As Métricas de Redes Existem dois grandes conjuntos de métricas para Análise de Redes que analisam os seguintes elementos: REDE

134 Métricas da Rede Densidade É a medida de quanto uma determinada rede é conectada em relação a todos os seus pontos. Uma rede totalmente densa é uma rede onde todos os seus pontos estão conectados.

135 Métricas da Rede Exemplo Dining Table - 0,080 Exemplo: Dining Table - Sem metade das arestas: 0,04

136

137 As Métricas de Redes Existem dois grandes conjuntos de métricas para Análise de Redes que analisam os seguintes elementos: ARESTAS

138 Métricas das arestas Peso da aresta Exemplo O peso (weight) da aresta pode ser quantas vezes determinado nó fez alguma conexão com outro nó. Apresentação sobre Network Risk Measures no Blog do IBPAD

139 Segmentação Como descobrir os grupos na sua rede

140 Segmentação Clusterização - Modularidade Normalmente a análise de segmentação é feita por atributos dos usuários Gênero Favorável-Contrário Geolocalização A análise sempre teve de ser em análise cruzada Famoso: Cruza isso com aquilo

141 Segmentação Clusterização - Modularidade A segmentação da análise de redes é pelo padrão de relacionamento dos usuários No Gephi, a implementação padrão é a modularidade de louvain Nós vamos segmentar com base em suas relações No Pajek, existem muitas outras possibilidades Criar as suas panelinhas

142

143 Segmentação Clusterização - Modularidade Você pode aumentar ou diminuir os clusters alterando o parâmetro de corte Mas atenção para olhar o histograma. Eventualmente você pode ter 99% dentro de um mesmo grupo

144

145 Aplicando as métricas Deixando sua rede bonita e intuitiva

146 Vamos trabalhar com um exemplo Abram a rede de Dining Table \netvizz\blogueiras Plus Size\

147 Aplicando a métricas na visualização da Rede As redes são principalmente ajustadas em relação aos seus NÓS arestas RÓTULOS

148 Aplicando a métricas na visualização da Rede Nó ou aresta Cores Cor do rótulo Tamanho Tamanho do rótulo Qual atributo

149 Não pode escolher aleatoriamente... IBPAD - Análise de Redes para Mídias Sociais

150 1. Qualitativa Categórica Tipo String Poderá alterar apenas a cor dos nós com cores diferentes 2. Quantitativa Ordinal Tipo Integer Poderá alterar a cor dos nós com a paleta de cores e utilizar uma escala em degradê Poderá alterar o tamanho dos nós com escala 3. Quantitativa Contínua ou discreta (escalar) Tipo Float/Double Poderá alterar as cores apenas com degradê Poderá alterar o tamanho dos nós com escala

151

152 CONCEITOS BÁSICOS Variáveis podem ser Quantitativas ou Qualitativas IBPAD - Análise de Redes para Mídias Sociais

153 CONCEITOS BÁSICOS Variáveis Quantitativas: são as características que podem ser medidas em uma escala quantitativa, ou seja, apresentam valores numéricos que fazem sentido. Podem ser contínuas ou discretas. Variáveis discretas: características mensuráveis que podem assumir apenas um número finito ou infinito contável de valores e, assim, somente fazem sentido valores inteiros. Geralmente são o resultado de contagens. Exemplos: número de filhos, número de bactérias por litro de leite, número de cigarros fumados por dia. Número de conexões que aquele nó possui Variáveis contínuas: características mensuráveis que assumem valores em uma escala contínua (na reta real), para as quais valores fracionais fazem sentido. Usualmente devem ser medidas através de algum instrumento. Exemplos: peso (balança), altura (régua), tempo (relógio), pressão arterial, idade. Número ponderado de conexões que o nó possui IBPAD - Análise de Redes para Mídias Sociais

154 CONCEITOS BÁSICOS Variáveis Qualitativas (ou categóricas): são as características que não possuem valores quantitativos, mas, ao contrário, são definidas por várias categorias, ou seja, representam uma classificação dos indivíduos. Podem ser nominais ou ordinais. Variáveis nominais: não existe ordenação dentre as categorias. Exemplos: sexo, cor dos olhos, fumante/não fumante, doente/sadio. Clusters da análise de Redes Variáveis ordinais: existe uma ordenação entre as categorias. Exemplos: escolaridade (1o, 2o, 3o graus), estágio da doença (inicial, intermediário, terminal), mês de observação (janeiro, fevereiro,..., dezembro). Fonte: IBPAD - Análise de Redes para Mídias Sociais

155 1. Qualitativa Categórica Tipo String Poderá alterar apenas a cor dos nós com cores diferentes 2. Quantitativa Ordinal Tipo Integer Poderá alterar a cor dos nós com a paleta de cores e utilizar uma escala em degradê Poderá alterar o tamanho dos nós com escala 3. Quantitativa Contínua ou discreta (escalar) Tipo Float/Double Poderá alterar as cores apenas com degradê Poderá alterar o tamanho dos nós com escala

156 cores IBPAD - Análise de Redes para Mídias Sociais

157 Escoha uma categoria Escolha uma paleta pronta Gere uma nova paleta!

158 Quantidade de cores IBPAD - Análise de Redes para Mídias Sociais

159 tamanhos IBPAD - Análise de Redes para Mídias Sociais

160 Tamanho Mínimo Tamanho máximo Utilize Spline para Ajustar a distribuição

161 Visualizando e Exportando os dados Agora é a hora de colocar no relatório

162 Visualizando e Exportando os dados Visualizações de Dados Uma das etapas mais importantes na hora de construir uma Rede Configure nós, arestas e formato

163 Configurações do Layout Restaurar ZOOM!

164 Visualizando e Exportando os dados O Gephi permite as seguintes exportações: SVG PDF PNG Plugins permitem exportar em formato navegável

165 Visualizando e Exportando os dados O Gephi permite as seguintes exportações: SVG PDF PNG Plugins permitem exportar em formato navegável

166 Dica de sobrevivência Salve em PNG, com fundo transparente! Fundo transparente PNG Opcões

167 Dica de sobrevivência Você pode exportar em SVG e utilizar o INKSCAPE para alterar os rótulos

168 Visualizando e Exportando os dados Seadragon Web permite a navegação no estilo Google Mapas Ele vai gerar um conjunto de páginas em HTML Localmente só funciona com o Firefox

169 Visualizando e Exportando os dados Exportação SigmaJS Sigma é uma biblioteca JS que permite excelente visualizações. Basta exportar e colocar em um servidor Web. Exemplos:

170 Implementando Filtros Sua rede não vai ficar bonita e útil sozinha

171 Utilize os filtros para melhorar a sua rede Filtros mais importantes: Intervalo pelo Degree Partição pela modularidade