Redes Peer-to-Peer. Ana Flávia Godoi e Paulo Nei. Sistemas Distribuídos Mestrado UFPR. Roteiro. Motivação. Histórico

Transcrição

1 Roteiro Peer-to-Peer Motivação, Histórico e Definição Classificação de Aplicações Topologia das redes Caracteristicas não funcionais O framework JXTA Virtualização das Redes ID S, Credentials, Advertisements Message Relay Endpoints Pipes Demonstração de uso do JXTA Redes Peer-to-Peer Ana Flávia Godoi e Paulo Nei Histórico Sistemas Distribuídos Mestrado UFPR Motivação Arquiteturas P2P permitem compatilhamento de recursos computacionais com: Escalabilidade (manter conectividade e performance); Auto-organização com população transiente de nodos; Adaptação a falhas de rede e de nodos; Não-necessidade de um servidor central (sem overhead de sua administração); Aceleração da comunicação entre processos e diminuição de custos para as instituições; A utilização de sistemas baseados em peer-topeer tem mostrado o verdadeiro potencial da Internet

2 Histórico Histórico A arquitetura cliente-servidor se tornou mais familiar. Aplicações comerciais que requerem controle de acesso às informações: utilização de firewalls; Estrutura das aplicações e serviços, incluindo a World Wide Web, FTP e outros; Nos últimos anos, entretanto, as tecnologias peer-to-peer têm tido profundo efeito na Internet. Pela forma de distribuição de informações e compartilhamento de recursos; Em 1962, J.C.R.Licklider, do MIT descreveu a Intergalactic Network : Uma rede de nodos interconectados, que se comunicavam diretamente entre si; Deu origem ao Network Control Program (NCP): primeiro protocolo de rede caracterizado como host-host : Precursor do TCP/IP Arquitetura cliente-servidor Exemplo de arquitetura Cliente-Servidor: as flechas representam o sentido da comunicação: Arquitetura cliente-servidor Também chamada de arquitetura centralizada, é a mais comum na Internet; Os servidores disponibilizam serviços e informações; os clientes requisitam esses serviços, quando necessário; Nodos servidores e clientes executam tarefas completamente diferentes;

3 Definições P2P é definido basicamente pelas características: Compartilhamento de recursos diretamente entre nodos: não necessidade de um servidor central. um servidor central pode ser utilizado para tarefas específicas: boot, chaves para criptografia, etc. Habilidade para: tratar conectividade variável e instabilidade; adaptar-se automaticamente a populações transientes de nodos e a falhas em componentes; manter a performance do sistema; Definição das redes Peer-to-Peer Definição mais abragente Sistemas Peer-to-Peer são sistemas distribuídos que consistem de nodos interconectados, com capacidade de se auto-organizarem em topologias de rede, com o objetivo de compartilhar recursos como ciclos de CPU, armazenamento e bandwidth, capazes de se adaptar a falhas e acomodar populações transientes de nodos, enquanto mantém conectividade e performance aceitáveis, sem depender da intermediação ou suporte de uma autoridade (servidor) central. [Theotokis & Spinellis 2004] Definições peer-to-peer puro se refere a sistemas totalmente distribuídos: nodos são equivalentes em funcionalidades e tarefas; Falha para compreender sistemas com noção de supernodos (Kazaa); Uma definição largamente aceita é a proposta em [Shyrky 2000] Peer-to-Peer é uma classe de aplicações que obtém vantagem de recursos armazenamento, CPU, conteúdo e presença humana - disponível nos nodos da Internet.

4 Classificação das Aplicações Comunicação e Colaboração; Sistemas de Bancos de Dados; Suporte a Serviços de Internet; Classificação das Aplicações Peer-to-Peer Computação Distribuída; Distribuição de Conteúdo; Classificação das Aplicações Computação Distribuída: Objetivo é aproveitar o poder de processamento subutilizado dos nodos da Internet; Essas tarefas exigem coordenação de um nodo central em tarefas como particionar e distribuir tarefas; Exemplo: Seti@Home [SetiAtHome 2003]; Grid Computing X Peer-to-Peer: convergência Classificação das Aplicações Comunicação e Colaboração: Sistemas que provêem infraestrutura para facilitar a comunicação direta entre peers chats, instant-messaging aplications; Sistemas de Bancos de Dados Distribuídos: Baseados na infraestrutura de sistemas P2P; Edutella: open source project que provê infraestrutura de banco de dados para aplicações peer-to-peer [Nejdl et al 2003]; Suporte a Serviços de Internet: Diferentes aplicações para suportar uma variedade de serviços de Internet; proteção contra ataques de vírus;

5 Peer-to-Peer X Grid Computing Sistemas P2P, por outro lado, tem apresentado soluções que não buscam padrões para protocolos e infra-estrutura, para prover interoperabilidade. Com a tendência das tecnologia Peer-to-Peer para aplicações cada vez mais complexas se espera que haverá uma convergência entre Peer-to-Peer e Computação em Grid. O resultado será uma nova classe de tecnologias combinando elementos de ambas: Escalabilidade, auto-adaptação, recuperação diante de falhas e infra-estrutura persistente e padronizada para interoperabilidade [Foster & Iamnitchi] Peer-to-Peer X Grid Computing Ambos são abordagens para computação distribuída, com foco emcompartilhamento de recursos em larga-escala; Grid está baseada em infraestrutura de serviços padronizados; À medida que cresce, Grid necessita de soluções para prover auto-organizaçao, tolerância a falhas, escalabilidade, etc: características de sistemas P2P; Classificação das Aplicações Distribuição de Conteúdo: Os sistemas de distribuição de conteúdo podem ser: relativamente simples; Mais sofisticados: criam locais de armazenamento distribuído de informações, para poder manuzeá-las de forma mais segura e eficiente; Ex: Napster, Kazaa [Kazaa 2003], Gnutella [Gnutella 2003] Classificação das Aplicações Distribuição de Conteúdo: Maioria dos sistemas Peer-to-Peer são de distribuição de conteúdo; Envolve sistemas e infraestrutura para troca de dados entre usuários; Sistemas se referem a aplicativos para uso para distribuição de conteúdo; Infraestrutura: frameworks - provê a base para os aplicativos P2P (fornecem serviços de rede, tolerância a falhas, etc);

6 Topologia da rede Arquitetura das redes P2P independe da arquitetura física da rede; As redes P2P podem ser implementadas criando-se uma rede overlay para os aplicativos utilizarem; A topologia das redes peer-to-peer se divide em 3 categorias: [Theotokis & Spinellis] Puramente descentralizado; Parcialmente centralizado; Híbrido descentralizado; Peer-to-Peer: Topologias Topologia da rede Puramente descentralizada: Topologia da rede Puramente descentralizada: Todos os nodos da rede podem realizar as mesmas tarefas; Não há coordenação centralizada de dessas tarefas; Cada nodo é responsável por sua própria administração e manutenção; Gnutella [Gnutella 2003]: constrói uma rede própria e permite que usuários realizem troca de arquivos;

7 Topologia da rede Parcialmente centralizada: Topologia da rede Parcialmente centralizada: Tem a base como puramente centralizado, mas há a presença de supernodos; Supernodos: agem como nodo central de uma subrede. Neles são armazenados índices para consulta pelos peers; Quando um supernodo falha, ele é substituído automaticamente e dinamicamente; Kazaa, Edutella [Nejdl et al. 2003], Gnutella mais recentemente; Topologia da rede Peer-to-Peer: Propriedades não funcionais Híbrido descentralizado: Há um servidor central que mantém índices e outras informações para facilitar a interação dos peers; A troca de arquivos é feita diretamente entre os nodos (peers); Apesar disto, este servidor é um ponto que deixa o sistema mais suscetível a falhas em geral e ataques; Este tipo de topologia está excedendo o conceito de peer-to-peer: pode não ter escalabilidade Napster, que mantém uma lista estática de nodos servidores)

8 Propriedades não funcionais Propriedades não funcionais Características não funcionais: Segurança; Escalabilidade; Performance; Capacidade de gerenciamento de recursos; Agrupamento semântico de informações; A topologia da rede, a estrutura de gerenciamento dos dados, e outras propriedades do sistema afetam as características funcionais. O que é JXTA? Apesar dos sistemas P2P serem sistemas distribuídos, nem todos os sistemas distribuídos facilitam a computação P2P Sistemas P2P têm um conjunto comum de necessidades JXTA JXTA provê um conjunto de API s para prover as funcionalidades necessárias Em essência, JXTA é uma biblioteca de desenvolvimento P2P

9 Virtualização das Redes Celular envia mensagem para o PDA Ambos têm endereço IP dinâmico Asserção: Endereço IP identifica unicamente uma entidade => falha Virtualização das Redes Nodo => identidade única (endereço IP) Endereço IP estático Endereço IP dinâmico O endereço IP determina o roteamento para um mensagem Virtualização das Redes TCP/IP tradicional => DNS (Domain Name System) é usado para resolver os nomes amigáveis Mas, P2P não pode ter a mesma asserção sobre a infra-estrutura de rede cliente-servidor tradicional Em particular, não pode assumir a presença de um diretório de nomes centralizado Virtualização das Redes Solução: construir uma rede virtual, independente da topologia física Escritório JXTA Avenida Sete de Setembro, 4698 Quinto Andar Curitiba Endereço físico (IP ou Ethernet MAC) => endereço amigável (

10 Virtualização das Redes Late Binding: capacidade de atrasar a ligação entre o endereço IP e um identificador Crucial para telefones móveis e P2P Mais notável capacidade JXTA: facilita late binding dos recursos da rede Virtualização das Redes P2P => identificadores curtos (dispositivos desconectam freqüentemente) Mudança freqüente no identificador do peer => diretório centralizado não estabiliza O Escritório JXTA muda de lugar todo mês Virtualização das Redes Virtualização das Redes Assinala identificador para um recurso Resolve a ligação entre o identificador virtual e físico em tempo de requisição Um nodo é identificado de forma independente do endereço IP Um mecanismo liga o identificador virtual ao endereço IP sempre que uma mensagem é enviada ao nodo O mecanismo de resolução é independente de um diretório de nomes centralizado (como DNS)

11 ID S, Credentials, Advertisements Identity (Identidade) Não identifica somente peers Qualquer recurso de importância: dados código grupos de peers canais virtuais de comunicação IDs => URNs (Universal Resource Names) ID S Credentials Advertisements ID S, Credentials, Advertisements Advertisement (anúncio) Descrição do recurso É um documento XML Inclui: ID único Credential Data de validade Outras informações ID S, Credentials, Advertisements Credential (credencial) Informação verificando um recurso em termos humanos IDs => atribuídas pelo sistema JXTA Credentials => atribuídas pelas pessoas Confiabilidade

12 ID S, Credentials, Advertisements Arquitetura JXTA facilita a propagação de perguntas na rede ID S, Credentials, Advertisements Rede JXTA localiza recursos por meio de advertisements Peer envia pergunta => chega a todos peers no multicast radius (não precisa roteador) Propaga para uma rede maior Peer cria advertisement e publica na rede Perguntas se propagam pela rede até encontrarem um advertisement Message Relay Mecanismo de pergunta: você quer achar a resposta perguntando pra todo mundo que conhece! Message Relay La Vita È Bella Quem fez o papel de Dora?

13 Message Relay Message Relay Message relay (Mensagem transmitida em cadeia) Aumenta o conjunto de peers que podem responder uma pergunta Rendezvous Peer (rendezvous = ponto de encontro) Relay Peer que facilita a transmissão da mensagem além do multicast radius Rendezvous Peer conhece outros rendezvous peers, formando uma rede rendezvous Message Relay Message Relay Seu amigo Roberto Benigni sabe quem fez o papel de Dora Você quer enviar a pergunta pra ele, mas só conhece seu nome Você pode usar um Router Peer Constrói e mantém rotas para outros peers Rota é composta por hops (pulos) Cada hop tem um ID Diferentes das rotas dos roteadores IP

14 Message Relay Message Relay Seu amigo Roberto Benigni fala apenas italiano! Gateway peer Transmissão de mensagens em protocolos heterogêneos (um peer tem HTTP, outro somente TCP) Peers separados por firewalls Message Relay Qualquer peer pode assumir responsabilidades relay Aumenta confiabilidade e robustez Relay peer pode implementar cache (de respostas, de rotas, etc) Message Relay Dora => Nicoletta Braschi

15 Endpoints Cartão de visitas de uma pessoa: Telefone, endereço, , fax, celular... Um peer pode ser alcançável por um número de endereços virtuais ou endpoints Endpoint advertisement informa o tipo de protocolo suportado Endpoints Endpoints Por que usar endpoints? Endpoints Mudanças no estado do peer Um endpoint pode não estar sempre disponível Peer pode usar somente um protocolo específico (requisitos de segurança, p. ex.)

16 Pipes Um canal de comunicação entre dois peers tem uma ID Os pontos finais do canal são identificados pelos endpoints (independente do endereço IP) Se o endereço IP muda? A rede JXTA ajusta o roteamento da mensagem Dois endpoints podem usar diferentes protocolos Pipes Pipes Cada pipe tem um identificador JXTA Sistema resolve o identificador em um endereço IP, seguindo o princípio de late binding Comunicação bidirecional: precisa dois pipes Um pipe pode transmitir para múltiplos destinos Pipes Pipe (cano) Canal de comunicação virtual Peers podem trocar mensagens usando Mensagens simples Propagação de perguntas Mas pipes são a principal abstração para comunicação direta

17 Pipes Pipes Pipes não são confiáveis (condições da rede) Confiabilidade pode ser garantida por uma camada de software (garantir integridade da mensagem) Também podem ser seguros (usando criptografia na mensagem) Operações da rede virtual são definidas em termos de protocolos Se dois peers querem se comunicar, só precisam entender o protocolo Conseqüência: Peers podem Ser implementados em diferentes linguagens Ser executados em diferentes tipos de máquinas Transmitir mensagens em diferentes camadas de protocolos (TCP, HTTP, Bluetooth)

18 Estruturas de dados XML Não precisa que peer tenha capacidade total de processamento XML Peer com pouco recurso: pré-compila mensagens na representação binária (não precisa processar XML) Protocolos são expressos em termos de troca de mensagens Em algum ponto deve traduzir a mensagem (bind) na linguagem Bindings: Java, C, C++, Perl, Python, Smalltalk... Protocolo independente da linguagem Peer Resolver Protocol (PRP) Protocolo fundamental Especifica o mecanismo de perguntaresposta Sete protocolos definidos Peer não precisa entender todos Mensagens são pares pergunta-resposta Respostas assíncronas

19 Outros protocolos que precisam de mecanismo pergunta-resposta usam PRP Pergunta não é endereçada ao peer, mas a um handler (tratador) Peer registra um handler, que pode responder perguntas Perguntas e respostas podem se perder XML schema da resposta XML schema da pergunta <xs:element name="resolverresponse type="resolverresponse"/> <xs:complextype name="resolverresponse"> <xs:element name="credential" type="xs:anytype" minoccurs="0"/> <xs:element name="handlername" type="xs:string"/> <xs:element name="queryid" type="xs:string" minoccurs="0"/> <xs:element name="response" type="xs:anytype"/> </xs:complextype> <xs:element name="resolverquery type="jxta:resolverquery"/> <xs:complextype name="resolverquery"> <xs:element name="credential" type="xs:anytype" minoccurs="0"/> <xs:element name="srcpeerid" type="jxtaid"/> <xs:element name="handlername" type="xs:string"/> <xs:element name="queryid" type="xs:string" minoccurs="0"/> <xs:element name="query" type="xs:anytype"/> </xs:complextype>

20 Estrutura de uma rota: <?xml version="1.0" encoding="utf-8"?> <jxta:endpointrouter> <Src> identidade da fonte </Src> <Dest> identidade do destino </Dest> <TTL> time to live </TTL> <Gateway> seqüência ordenada de gateways </Gateway> <...> <Gateway> seqüência ordenada de gateways </Gateway> </jxta:endpointrouter> Endpoint Routing Protocol (ERP) Especifica roteamento de mensagens Lista de hops da fonte até destino Relay peer: router peer Router conhece o caminho: responde com uma lista de hops Estrutura de uma mensagem de roteamento <?xml version="1.0" encoding="utf- 8"?><jxta:EndpointRouterQuery> <Credential> credencial </Credential> <Dest> id do destino </Dest> <Cached> true: resposta pode ficar na cache false: resposta não pode ficar na cache </Cached> Cada peer deixa um trace (marca) na mensagem Trace ajuda roteadores a lembrar das rotas Peer guarda rota na cache Útil também para detectar loops e mensagens duplicadas </jxta:endpointrouterquery>

21 Roteador responde a pergunta com: <?xml version="1.0" encoding="utf-8"?> <jxta:endpointrouteranswer> <Credential> credencial </Credential> <Dest> id do destino </Dest> <RoutingPeer> Id do roteador que conhece uma rota </RoutingPeer> <RoutingPeerAdv> Advertisement do roteador </RoutingPeerAdv> <Gateway> seqüência ordenada de gateways </Gateway> <...> <Gateway> seqüência ordenada de gateways </Gateway> </EndpointRouterAnswer> Outros protocolos... ERP garante alto grau de sucesso Não garante eficiência Peers mais inteligentes podem implementar algoritmos especializados, para otimizar a descoberta de rotas

22 Rendezvous Protocol (RP) Define como as perguntas se propagam pela rede rendezvous Propagação limitada a um peer group (definido no advertisement do rendezvous) Peer Discovery Protocol (PDP) Propicia a descoberta de recursos, por meio dos advertisements Mensagem inclui Tipo de advertisement Chave XML Valor para a chave Peer Information Protocol (PIP) Permite troca de informações em tempo de execução: Tempo de disponibilidade do peer (uptime) Número de mensagens processadas num período Permite software de monitoramento da rede Pode ser estendido, adicionando elementos ao XML Pipe Binding Protocol (PBP) Define a construção de um pipe Pipe tem advertisement, que define seu tipo, assim como uma ID

23 Protocolo define etapas para entrar no grupo: Fase de pedido Fase de junção Peer referencia um autenticador Autenticação pode ser feita: Base de dados Perguntas para o peer Qualquer outra forma Peer Membership Protocol (PMP) Particionamento da rede Caso físico (segurança, serviços...) Grupo define o escopo das perguntas: Padrão: pergunta propaga em busca de advertisement no grupo Questões de segurança Conclusão Nesta apresentação mostramos algumas definições sobre peer-to-peer, suas aplicações, características e propriedades básicas. Falamos também sobre o JXTA. Essa biblioteca de programação Peer-to-Peer mostrou a aplicação de alguns conceitos vistos.

24 Referências Bibliográficas Nejdl, W. et al Edutella: A p2p networking infrastructure based on rdf. In Proceedings of the 12th International Conference on Word Wide Web. Budapest, Hungrary Oram, A. Peer to Peer: Harnessing the Power of Disruptive Technologies. Primeira Edição. O'Reilly. Mar 2001 SetiAtHome Site do projeto seti@home. Shirky, C What is p2p... and what isn t. Na rede, disponível online em p2p/2000/11/24/shirky1-whatisp2p.html. O Reilly. Theotokis, S.A., Spinellis, D. ACM Computing Surveys, Vol. 36, No., December 2004, pp Referências Bibliográficas Bookshier, D., et al. JXTA: Java P2P Programming, Sams Publishing. Mar Flenner, R. et al. Java P2P Unleashed. Sams Publishing. Sep Cap.16. Foster, I Internet computing and the emerging grid. Nature Web Matters. Foster, I., and Iamnitchi, A On death, taxes, and the convergence of peer-to-peer and grid computing. In Proceedings of 2nd International Workshop on Peer-to-Peer Systems (IPTS 02). Berkeley, CA. Gnutella Site do projeto Gnutella: Kazaa Site do projeto Kazaa.