Redes Complexas: Bloco #3. Introdução a Redes 2 o semestre de Virgílio A. F. Almeida

Transcrição

1 Redes Complexas: teoria, algoritmos e aplicações em computação Bloco #3 Introdução a Redes 2 o semestre de 2009 Virgílio A. F. Almeida Agosto de 2009 D d Ciê i d C ã Departamento de Ciência da Computação Universidade Federal de Minas Gerais

2 Redes de Informação? Rede: uma coleção de entidades que estão interconectadas Uma aresta entre dois nós denota uma interação entre as duas entidades. Vemos essa interação comos information exchange, daí a ideia de Redes de Informação O termo é bem geral

3 Por que interessa? Redes estão em todas áreas Cada vez mais um número maior de sistemas pode ser modelado como redes e mais dados são coletados Modelos de grafos tradicionais não se aplicam aos casos reais Redes em larga escala necessitam de novos ferramentas de análise Uma nova área: science of networks Envolve múltiplas disciplinas: computação, física, biologia, economia, sociologia, matemática, etc.

4 Jon Kleinberg: 2008 ACM Infosys Foundation Award Recipient "...Social network analysis is an area that reaches back quite a long time and has been a veryactivearea area in sociology, anthropology and other disciplines in the social sciences. When computer scientists began thinking about this in the late 1990's we had a lot of expertise to draw on. There are two issues going on here. One is why arecomputer scientists drawn to this?...the Thesecond point isbecause of allthisdata the kinds of social network questions that you ask are related but somewhat distinct from what sociologists would have...the interesting challenge now is to try to combine these two sets of research... " "...I think there are some interesting themes here. One is in aggregate the quadrants of information can produce very interesting ti patterns and collective traces. Secondly the social effects are going to become important design principles for big informational threads like Wikipedia or Flickr, etc...they have both technological and social mechanisms working together so in computer science we are going to have to think about design principles that incorporate some of these...the final interesting question is that by its very nature, research has a large stockpile of information and that raises questions about privacy... "

5 Tipos de redes Redes sociais Redes de conhecimento (informação) Redes tecnológicas Redes biológicas

6 Redes Sociais Aresta denota/representa uma relação social Redes de conhecidos Rede de atores Rd Rede de co autores Rede de diretores Rede de chamadas telefonicos Rd Rede de Rede de Instant Messaging Redes de contatos sexuais Redes de amigos em social media software

7 Redes de conhecimento (informação) Nós armazenam informação, arestas associam informação Rd Rede de citação (orientada) AWeb (orientada) Rd Redes Peer to Peer P Redes de palavras Rede de confiança trust Rede de...

8 Redes tecnológicas Redes construídas para distribuição de commodity A Internet router level, AS level Rede de energia elétrica Rede de linhas aéreas Rede telefônica Rede de transporte Estrada, ruas, estrada de ferro Grafos de Software

9 Redes biológicas Sistemas biológicos representados como redes Redes de interação Proteina Proteina Redes de genes Redes do tipo Food Web Redes Neurais

10 E agora? O mundo esta cheio de redes! E agora???? Entender suas topologias e medir suas propriedades Estudar sua dinâmica de evolução Criar modelos realistas Criar algoritmos que aproveitem a estrutura e relações das redes

11 Konigsberg Bridge Problem: Does there exist any single path that crosses all seven bridges exactly once each? Abstração: grafo

12 Network analysis: two questions 1) When is a node a node? 2) When is an edge an edge? Science, vol 325, 2009

13 Erdös Renyi Random graphs O modelo dl G n,p n : número de vértices 0 p 1 Para gerar uma amostra/sample, aleatoriamente, seleciona se n inicialmente desconexos vértices e para cada par (i,j), gere uma aresta (i,j) independentemente comprobabilidade p. O modelo G n,m é o conjunto de todos os grafos consistindo de, n nodos e m arestas. Para gerar uma amostra de grafo uniformemente, de maneira aleatória, simplestemente atribui se m arestas entre pares escolhidos aleatoriamente de n nodos/vértice inicialmente não conectados.

14 Distribuição de graus em um grafo aleatório A distribuição segue uma binomial n p(k) = B(n;k;p) = p k k ( ) n 1 p k Assumindo z=np fixo, qdo n B(n,k,p) pode ser aproximada por uma distribuição de Poisson p(k) = P(k;z) = Altamente concentrada em torno da média, com uma cauda que cai exponencialmente. il k z k! e z í d b l Exercício: demonstrar que a binomial converge para Poisson quando n

15 Grafos randômicos e a realidade Uma teoria elegante estudada exaustivamente. Grafos Randomicos tem sido usados como modelos dl geradores de outros grafos. No entanto, t não capturam a realidade d

16 Propriedades das Redes Distribuição dos graus Fenômeno do Small world Clustering Coefficient Mixing patterns (assortative/dissortative) Betweenness Communidades eclusters

17 Distribuição dos graus frequencia f k = fração de nós com grau k = probabilidade de nó selecionado aleatoriamente ter grau k f k k grau Problema: determine a distribuição de probabilidade que melhor ajuste ( best fit ) a um conjunto de dados experimentais de uma rede. Proponha uma coleta de dados e faça o fitting!

18 Distribuições Power law O grau de distribuição ib i de redes reais segue na maioria i das vezes uma função do tipo power law: p(k) = Ck -α Distribuição de cauda pesada (Heavy tail distribution) Existe uma fração de nós não desprezível que tem graus muito altos (hubs) scale free: média não informativa e não tem características de escala. Num contraste gritante com grafos randomicos! Altamente concentrado em torno da média A probabilidade de nós com graus muito altos é exponencialmente pequena.

19 Assinatura Power law Distribuição ib i Power law leva a uma linha reta num gráfico log log. log p(k) = -α logk + logc frequencia log frequencia α Grau: várias ordens de grandeza log grau α : expoente power-law (tipicamente 2 α 3)

20 Exemplos [Newman 2003]

21 Umexemplo de graforandômicorandômico Rede Aleatória Distribuição tib i de Gá Gráus

22 Distribuição Exponential Observada em algumas redes tecnológicas ou de colaboração lb p(k) = λe -λk Identificada por uma reta no gráfico log linear. log p(k) = - λk + log λ log frequencia λ grau

23 Estatísticas Coletivas (M. Newman 2003)

24 Clustering coefficient (Transitividade) Mede a densidade d d de triângulos (local l clusters) no grafo Duas formas de medir: 2 v C E v = e v = kv kv *( kv A razão das médias C (2) = 1 Cv n 2 1) C (1) = i i triangulos centrados no nó i triplas centradas no nó i

25 clustering coefficient local n i = 4 Número max de conexões 4*3/2 = 6 3 conexões presentes C i = 3/6 = 0.5 i link presente link ausente

26 Clustering coefficient para grafos randomicos A probabilidade de dois de seus vizinhos serem tambem vizinhos é p, independente da estrutura local clustering coefficient C = p

27 Estatísticas Coletivas (M. Newman 2003)

28 Métricas de rede d ij = menor caminho entre i e j Diametro: d = dg = max d Comprimento médio do caminho: i, j ij Média Harmonica l = 1 n(n -1)/2 i>j> d ij l 1 = 1 n(n -1)/2 i>j> -1 d ij

29 Estatísticas Coletivas (M. Newman 2003)

30 Mixing patterns Assuma se que se tem vários tipos de nós. Qual a probabilidade bbldd de dois nós de diferente tipos serem conectados? assortative mixing E : mixing matrix p(i,j) = probabilidade de mixing p(i, j) = E(i, j) E(i, j) i,j p(j i) = probabilidade condicional de mixing p(j i) = E(i, j) E(i, j) j

31 Propriedades das redes Mixing patterns a.k.a. assortative mixing 1958 casais heteros ht em San Francisco:

32 Mixing Coefficients Mixing i Patterns Como quantificar? Sj Seja E ij = # de arestas conectando vertices tipos i e j E = matriz com elements E ij Assim, a matriz normalizada E d d ll E E = soma de todos elelmentos E Elemento e ij de e = fração de arestas entre i and j

33 Mixing coefficient Newman 2003 a = i p(i,j) j b i = p(j,i) j r e a b ii i i = i i 1- a b i i i Características: r = 1 matriz diagonal e ii = 1 r = 0 matriz uniforme i e ii = i i r=0.621 a i b i Altamente Assortatitva, Por que? Quais fatores?

34 Correlação de graus Nós de graus altos tendem a se conectar a nós altos? Pastor Satoras et al. Exercício: Para os dd dados que voce coletou, lt faça um gráfico do gráu médio dos vizinhos em função do gráu. Newman Compute o coeficiente de correlação dos graus de duas extremidades de uma aresta assortative/disassortative

35 Assortatividade Primeira aproximação Propriedade do nó = seu grau Assortative networks Disassortative networks Redes reais sempre exibem uma das duas tendências, redes similares exibme comportamentos similares. Social networks Techological networks

36 Medidas de Correlação Grau a Grau Grau medio dos vizinhos proximos de nós de grau k Probablilidade que um vertice k esteja conectado a k P ( k ' k ) Probabilidade P ( k ) = N k / N Para efeitos de cálculo em redes reais, é mais fácil trabalhar com o grau medio dos vizinhos mais proximos de k, definido por: Knn( k) = Para se analisar assortative, faz em função de k, ou seja kσ ' Se knn é uma função crescente de k: Assortative Se knn é uma função decrescente de k: Disassortative k' P( k' k) Se nenhum dos casos acima: Non assortative

37 Conectividade da Internet

38 Relações de conectividade Pastor Satorras, Vazquez &Vespignani, PRL 87, (2001) Media do grau dos vizinhos mais próximos <k Função de correlação de graus nn (k)> = Σ k k p(k k)

39 Consequencias da assortatividade: - Disseminaçãoi de Epidemias, i Comunidades Isoladas... Newman, PRE, bf 67 : , (2003).

40 Quantifying social vs. antisocial behavior in networks Gomes, Luiz H.; Bettencourt, Luis M. A.; Almeida, Virgilio A. F.; Almeida, Jussara M.; Castro, Fernando D. O. p n K nn K

41 Estatísticas Coletivas (M. Newman 2003)

42 Betweenness mede a centralidade de nós B A O betweenness b i do nó i é o número de caminhos mínimos entre e pares de nós que passa pelo nó i.

43 Betweenness mede a centralidade de nós B A betweenness = load = Betweenness centrality L h,,j no. Total de shortest paths de h a j e L h,i,,j,,j é o no. total de shortest paths que passa pelo vértice i. Assim,, b i Lh, i, j / Lh, j =

44 The betweenness distribution also follows a truncated power law β P ( b ) b g ( b / bx )

45 Aeroportos: cidades mais conectadas não são as mais centrais Cidades Mais conectadas Mais centrais

46 Cidades mais centrais são importantes! Cidades mais centrais

47 Referências (1) e (2) da bibliografia: estudar! 1) M. E. J. Newman, The structure and function of complex networks, SIAM Reviews, 45(2): , ) M. E. J. Newman. D. J. Watts, and S. H. Strogatz, Random graph models dlof social ilnetworks, PNAS February 19, 2002 vol. 99 no. Suppl

48 Is the path length enough? Random graphs have diameter logn d = logz d=logn/loglogn when z=ω(logn) Short paths should be combined with other properties p ease of navigation high clustering coefficient

49 Exemplo C (1) = =

50 Exemplo ( ) C (2) = = 5 3 C (1) = 8 Os dois clustering coefficients levam a medidas diferentes 30