BC-0506: Comunicação e Redes Internet e Web como redes complexas

Transcrição

1 BC-0506: Comunicação e Redes Internet e Web como redes complexas Santo André, 2Q2011 1

2 Agenda Internet e Web como redes complexas Estrutura da Internet como uma Redes Complexa Ligação entre páginas Web como leis de potência Redes de compartilhamento peer-to-peer como redes de mundo pequeno 2

3 Parte 1: Leis de Potência e a Internet

4 Relembrando Leis de Potência A lei de potência é um tipo especial de relação matemática entre duas quantidades. Uma quantidade é a frequência de um evento, e a outra é o tamanho do evento A frequência do evento diminui muito mais rapidamente do que o aumento do tamanho do evento. A probabilidade P(x) de um evento é associada à sua magnitude através de uma simples escala, do tipo: P(x) = a x k + o(x k ) 4

5 Internet - Topologia Organizado como um conjunto de sistema autônomos 5

6 Topologias (entre-domínios) Nov/97: 3015 nós, 5156 arestas e 3.42 de outdegree Abril/98: 3530 nós, 6432 arestas e 3.65 de outdegree Dez/98: 4389 nós, 8256 arestas e 3.76 de outdegree Rout/95 Topologia dos roteadores da Internet em nós, 5012 arestas e 2.57 de outdegree 6

7 Leis de Potência e a Internet Em meados de 1999, os irmãos Faloutsos [4], Descrevem as relações existentes das Leis de Potência com a topologia da Internet; Através de coletas de informações de nov/97 a dez/98 (topologias entre-domínios), identificaram 3 leis de potência. Usadas para estimar importantes parâmetros, como: tamanho médio de vizinhança, facilidades no projeto e análise de protocolos, e Identificar a Internet e se projetar topologias realísticas, para propósitos de simulação 7

8 Leis de Potência e a Internet Ao se projetar um novo protocolo de Internet, por exemplo de roteamento, desejamos analisar: Vazão (Throughput) Tolerância a falhas Tamanho das filas nos roteadores, etc. Se modelarmos a Internet utilizando um grafo aleatório, os resultados certamente não serão realistas Como vimos, o grafo que modela as conexões entre sistemas autônomos na Internet obedece a leis de potência 8

9 Parte 2: A estrutura em Grafo da Web

10 Rede de Alcance Mundial World Wide Web (WWW) É uma rede de informação, que funciona como um serviço da Internet Modelada como um grafo: Com 203 milhões de nós Páginas contém links para outras páginas Variável Aleatória: Número de links de cada Página Web para outras Páginas Web 10

11 Motivação Estudar a estrutura da Web é de grande importância, tendo uso em: Desenvolvimento de algoritmos de busca de conteúdo Entender a sociologia da criação de conteúdo na Web Analisar o comportamento de algoritmos para a Web, como o PageRank, e sua evolução temporal Prever a evolução e o aparecimento de Anéis da Web Entender o comportamento de usuários da Web 11

12 Modelagem da Web Broder et al. fizeram a modelagem da distribuição de nós de entrada e saída em cada página da Web Usaram um Web Crawler Grande conjunto de páginas iniciais Buscas feitas com algoritmo de Busca em Largura Os resultados não mudaram significativamente quando: Utilizaram diferentes instâncias da caminhada Pesquisa realizada em 2 datas distintas: maio/99 e dezembro/99. 12

13 Distribuição dos nós de entrada na Web Todas as conexões e apenas com conexões remotas 13

14 Distribuição dos nós de saída na Web Todas as conexões e apenas com conexões remotas 14

15 Algumas conclusões Páginas contém links para outras páginas Distribuições de nós de entrada e de saída seguem uma lei de potência Algumas páginas são extremamente mais referenciadas do que outras (grandes portais, por exemplo) Algumas páginas referenciam uma quantidade enorme de outras páginas (mecanismos de busca, como Google) 15

16 Modelagem da Web como grafo Se a considerarmos como um grafo não-direcionado Temos um grafo como um único componente conectado Distância média entre os nós é de 6 Se considerarmos os links como direcionados Os vértices são divididos em diversos componentes fortemente conectados 16

17 Alguns resultados A maior parte dos resultados são obtidos a partir da Busca em Largura Quando consideramos a Web como um grafo direcionado A porcentagem de pares com caminhos entre eles é 24% Distância média, no caso em que existem caminho é 16 No caso do grafo não-direcionado a distância é 6.8 Quando consideramos apenas o SCC central temos: Seu diâmetro é pelo menos 28 Ao considerarmos todos os vértices, a maior distância entre os pares se situa entre 500 e

18 Parte 3: A estrutura de redes ponto-a-ponto não-estruturadas

19 Download de Arquivos Compartilhamento de arquivos (tradicional) Computador servidor armazena os arquivos Computadores clientes baixam os arquivos Vantagens Organização simples: arquivos em uma única máquina Busca simples: basta enviar requisição à máquina Desvantagem: Sobrecarga do servidor Facilidade para retirar serviço do ar 19

20 Redes Ponto-a-Ponto (Peer-to-Peer) Cada computador assume o papel de servidor e cliente Computadores disponibilizam arquivos (servidor) e baixam arquivos (cliente) de outros computadores Exemplos: Napster, Gnutella, Kazaa, Torrent, etc. Redes Centralizadas: Um computador realiza a indexação dos arquivos armazenados Redes Descentralizadas: A lista de arquivos fica distribuída nos computadores da rede 20

21 Redes Peer-to-Peer Sobrepostas Computadores conectados por ligações lógicas Cada computador possui um conjunto de vizinhos lógicos Não representam necessariamente as conexões físicas Computadores se comunicam através das ligações lógicas Figura retirada de 21

22 Redes descentralizadas estruturadas Rígida estrutura sobre ligações e locais de armazenamento de arquivos Busca eficiente por nome de arquivo Mas busca por palavras-chave são difíceis Redes descentralizadas não-estruturadas Conexões sem estrutura rígida Arquivos são armazenados em qualquer nó Busca mais demorada, mas por palavras-chave 22

23 Busca em Redes Não-estruturadas Busca pode utilizar um mecanismo de inundação (flooding) Nó envia requisição a k vizinhos Cada vizinho reenvia a outros k' nós Cada nó que recebe a requisição devolve a lista de arquivos encontrados No caso de uma rede em que cada nó repassa a mensagem a todos os seus vizinhos, temos uma busca em largura Após m reenvios atingimos até k m nós Busca por inundação com escopo A mensagem é repassada até uma profundida máxima m Imagem Retirada de ``Hybrid Search Schemes for Unstructured Peer-to-Peer Networks'', INFOCOM 2005, M. Mihail, C. Gkantsidis and A. Saberi 23

24 Busca em Redes Não-estruturadas Clientes irão baixar os arquivos a partir das máquinas encontradas na busca Se a busca não levar em conta o custo da comunicação, o custo para baixar o arquivo será alto Isto ocorre quando vizinhos são escolhidos aleatoriamente Chance de se conectar com um computador próximo ou distante é a mesma Uma melhor opção é tentar sempre baixar dados de computadores de um mesmo sistema autônomo Imagem Retirada de [3] 24

25 Redes de Mundo Pequeno Solução proposta por Merugu et al. Cada nó terá um conjunto de conexões curtas e longas Conexões curtas: realizadas com nós próximos, por exemplo, no mesmo sistema autônomo (SA) Conexões longas: realizadas com nós aleatórios, que com grande probabilidade serão nós distantes, de outro SA Definimos α como a taxa de conexões curtas α = 0 grafo aleatório α = 1 grafo de mundo pequeno 25

26 Conclusões sobre o estudo de P2P O uso de redes de mundo pequeno em redes P2P de compartilhamento de arquivos trouxe as conclusões: A chance de encontrar arquivos é alta Nós encontrados são nós próximos O tráfego entre diferentes SAs foi reduzido 26

27 Bibliografia Recomendada 1. Broder, A.; Kumar, R.; Maghoul, F.; Raghavan, P; Rajagopalan, S.; Stata, R.; Tomkins, A. and Wiener, J. Graph struture in the Web. Computer Networks Magazine, Elsevier Vol. 33, pags , Faloutsos, Michalis; Faloutsos, Petros; and Faloutsos, Christos. On Power-Law Relationship of the Internet Topology. SIGCOMM 99, Cambridge, MA, Merugu, Shashidhar; Srinivasan, Sridhar and Zegura, Ellen. Adding structure to unstrustured peer-to-peer network: the use of small-world graphs. Journal of Parallel and Distributed Computing, vol 65, pgs ,