Computação Distribuída PDP

Transcrição

1 Computação Distribuída PDP

2 Computação distribuída Peer-to-peer computing Grid computing Ambas as formas de computação estão relacionadas com a organização de partilha de recursos em ambiente internet (ou seja, ambientes computacionais de grande escala)

3 Computação distribuída Grid computing Características Coordenação a grande escala da utilização e partilha de recursos geograficamente distribuídos Baseado em infra-estruturas fiáveis e regulamentadas (standard) Objectivo: high-performance computing Pontos fracos Formas de auto-configuração, tolerância a falhas e escalabilidade.

4 Computação distribuída Peer-to-peer computing Características Funcionam em ambientes instáveis Com recursos transitórios (ou flutuantes) Tolerantes a falhas Auto-adaptavéis Pontos fracos As soluções actuais são independentes entre si e não existe, ou existe pouco, soluções regulamentadas de modo a aumentar a interoperabilidade.

5 p2p computing

6 Definições Peer (adj. par): entidade que está ao mesmo nível que os restantes elementos do grupo. Servidor: entidade que processa pedidos de outras entidades mas que não efectua pedidos. Cliente: entidade que efectua pedidos mas não tem capacidade de processar pedidos de outros.

7 Cliente-Servidor Os servidores são administrados e mantidos de forma centralizada. Os nós cliente têm menos recursos que os servidores.

8 p2p As entidades participantes têm recursos semelhantes As entidades comunicam directamente entre si e partilham recursos (processamento e armazenamento)

9 Peer-to-Peer Network (def.1) A distributed network architecture may be called a Peer-to-Peer network, if the participants share a part of their own hardware resources (processing power, storage capacity, network link capacity, printers). These shared resources are necessary to provide the Service and content offered by the network (e.g. file sharing or shared workspaces for collaboration). They are accessible by other peers directly, without passing intermediary entities. The participants of such a network are thus resource (Service and content) providers as well as resource (Service and content) requestors (Servent-concept). R.Schollmeier, A Definition of Peer-to-Peer Networking for the Classification of P2P Architectures and Applications, Proceedings of the First International Conference on Peer-to-Peer Computing (P2P 01)

10 Pure Peer-to-Peer A distributed network architecture has to be classified as a Pure Peerto-Peer network, if it is firstly a Peer-to-Peer network according to Definition 1 and secondly if any single, arbitrary chosen Terminal Entity can be removed from the network without having the network suffering any loss of network service. R.Schollmeier, A Definition of Peer-to-Peer Networking for the Classification of P2P Architectures and Applications, Proceedings of the First International Conference on Peer-to-Peer Computing (P2P 01)

11 Pure Peer-to-Peer

12 Pure Peer-to-Peer

13 Pure p2p Todos os nós são iguais (Par) Sem administração central Rede auto-mantida e com elevada resiliência A falha de um nó não implica a falha da rede Problema: Como é que um nó se pode juntar a uma rede? Através de uma mensagem (bradcast) para efectuar uma pergunta. Ligar a um nó pré-definido Exemplos: Gnutella e Freenet

14 Super-peer

15 Super-peer Alguns nós funcionam como Super-Peers por possuírem maior capacidade, conectividade ou fiabilidade. Um nó Super-Peer pode acelerar o processo de junção de novos Peers, mantendo uma lista de nós de ligação. A rede continua a ser Pure p2p. Exemplo: KaZaa

16 Hybrid p2p A distributed network architecture has to be classified as a Hybrid Peer-to-Peer network, if it is firstly a Peer-to-Peer network according to Definition 1 and secondly a central entity is necessary to provide parts of the offered network services. A diferença significativa para a rede Cliente/Servidor é que nesta os clientes não partilham os seus recursos (armazenamento, processador, comunicações, largura de banda, etc) R.Schollmeier, A Definition of Peer-to-Peer Networking for the Classification of P2P Architectures and Applications, Proceedings of the First International Conference on Peer-to-Peer Computing (P2P 01)

17 Hybrid p2p Exemplos: Napster, Groove, Aimster, Magi, Softwax e imesh

18 Hybrid p2p No modelo híbrido é contactado primeiro um servidor para obter metainformação, como a identidade do peer onde a informação pretendida está guardada, ou verificar credenciais de segurança. No passo seguinte é estabelecida a comunicação p2p.

19 Taxonomia dos sistemas computacionais

20 Tipos de aplicação Comunicação e colaboração Comunicações e colaboração em tempo real entre peers. Exemplo: chat e instant messaging (Yahoo, msn, Jabber, ). Computação distribuída O objectivo é utilizar tempo de cpu disponível nos peers. Exemplo: seti@home, genome@home. Internet Service Support Serviços de internet que se baseiam em infraestruturas peer-to-peer. Exemplo: multicast systems e security applications (protecção contra denial of service e ataques de vírus)

21 Tipos de aplicação Sistemas de Bases de Dados BDs distribuídas baseadas em infra-estruturas p2p. Exemplo: Edutella, fornece às aplicações p2p a capacidade de querying. Distribuição de conteúdos A maior parte dos sistemas enquadra-se neste tipo de aplicação. O objectivo é a partilha/distribuição de conteúdos digitais (documentos, vídeos, música, etc). Exemplos: Napster, Gnutella, Freenet, Kazaa, etc.

22 Taxonomia dos sistemas p2p Messenger Armazenamento Processamento As Plataformas suportam qualquer uma das três dimensões

23 Objectivos Tal como qualquer sistema computacional, o objectivo será satisfazer os requisitos dos utilizadores. Na escolha de um sistema podemos considerar os seguintes objectivos: Partilha/redução de custos Aumento da escalabilidade/fiabilidade Agregação de recursos SETI@Home, distributed.net agregam capacidade de processamento. Napster, Gnutella e FreeNet agregam espaço armazenamento e largura de banda para deslocar os dados. Aumento de autonomia O serviço não fica dependente de servidores. Privacidade e anonimato Num sistema centralizado é mais difícil garantir o anonimato dos clientes. O FreeNet utiliza um esquema de reencaminhamento de mensagens que não permite identificar o nó requisitante dos dados.

24 Objectivos Dinamismo Sistema flexível em que os recursos entram e saem continuamente. Permitir colaboração e comunicação ad-hoc Ad-hoc significa que a participação dos utilizadores depende de factores pontuais como localização e interesses pontuais.

25 Algoritmos p2p para distribuição de conteúdos 1. Centralized directory model 2. Flooded requests model 3. Document routing model

26 Algoritmos Centralized directory model Os peers comunicam com um directório central para publicarem o conteúdo que oferecem para partilha. Quando solicitado por um peer, o índice central identifica o peer que melhor corresponde ao pedido. O melhor pode ser definido por ser o mais barato, o mais disponível ou o mais rápido, em função dos requisitos do utilizador. A transferência de dados é efectuada directamente. Desvantagem: escalabilidade. Exemplo: Napster

27 Algoritmos Flooded requests model Sistema p2p puro. Não existe publicitação dos recursos partilhados. O pedido é enviado (flooded) para os peers que lhe estão ligados, que por sua vez enviam para os seus peers. O processo pára quando o pedido recebe uma resposta ou é atingido o limite de flood steps (entre 5 e 9). Desvantagem: escalabilidade devido a exigir muita largura de banda. Exemplo: Gnutella. Aplicações: redes pequenas como e.g. rede de empresa. Soluções: Super-peer, caching de pedidos.

28 Algoritmos Document routing model A cada peer é atribuído um ID e cada um conhece um conjunto de outros peers. Quando um documento é publicado recebe um ID de acordo com o seu conteúdo e o seu nome. Ele é depois encaminhado para o peer com o ID mais próximo do ID do documento. Neste encaminhamento cada peer guarda uma cópia local. Quando um documento é pedido ao sistema, ele é redireccionado para o peer com o ID mais semelhante ao ID do documento. O processo repete-se até o documento ser encontrado, sendo depois transferido para o requisitante. Desvantagem:O ID do documento tem de ser conhecido antes de um peer requisitar um documento. Exemplo: FreeNet. Aplicações: redes de grande dimensão

29 Caching, replicação e migração de conteúdos Os sistemas p2p baseiam-se na replicação dos conteúdos que disponibilizam, de modo a: aumentar a disponibilidade dos conteúdos aumentar o desempenho aumentar a resistência à eventual tentativa de censura (tornar conteúdos indisponíveis)

30 Replicação de conteúdos Replicação passiva Os conteúdos são replicados devido às transferências ocorridas quando um documento é pedido por um peer. Replicação por caching O documento fica temporariamente guardado nos peers por que passa até chegar ao peer destino.

31 Replicação de conteúdos Replicação activa A replicação activa é utilizada para melhorar a data locality (tempo de acesso aos dados) e a disponibilidade (evitar que a falha/ inactivação de peers torne os documentos indisponíveis) Observação: A replicação de documentos impõe dois requisitos adicionais: consistência e sincronização dos dados.

32 Segurança Outras características Relacionada com a disponibilidade, privacidade, confidencialidade, integridade e autenticidade. Anonimato Em relação ao autor do documento; do nó em que está armazenado; a identidade e detalhes do próprio conteúdo; os detalhes da query necessária para obter o conteúdo. Negação de conhecimento Possibilidade do utilizador desconhecer o conteúdo guardado no seu nó (através de codificação sem distribuição de chaves). O utilizador não pode ser responsabilizado pelo conteúdo do seu nó uma vez que não tem acesso aos dados.

33 Bibliografia A survey of Peer-to-Peer Content Distribution Technologies S. Androutsellis-Theotokis, D. Spinellis ACM Computing Surveys, Vol. 36, N. 4, December 2004, pp A Definition of Peer-to-Peer Networking for the Classification of P2P Architectures and Applications R.Schollmeier Proceedings of the First International Conference on Peer-to-Peer Computing (P2P 01)

34 GRID computing

35 Grid Computing Problemas Simulação massiva de sistemas Análise massiva de dados

36 Grid Computing Necessidade de maior capacidade do que a disponível num único local Outros motivos: Infra-estruturas de grande dimensão têm mais custos de manutenção e consumo. Mais económico ter vários instalações mais pequenas.

37 Grid Computing The Grid problem is to enable coordinated resource sharing and problem solving in dynamic, multiinstitutional virtual organizations. The Anatomy of the Grid by Ian Foster et. al

38 Grid Computing Definição: partilha de recursos e resolução coordenada de problemas num ambiente dinâmico e multi-institucional. VO Virtual Organizations R R R R R R R R VO-A R R VO-B R R

39 Grid Computing Virtual Organizations Os utilizadores organizam-se em temas comuns e partilham recursos de domínios administrativos diferentes Exemplo: EGEE (Enabling Grids for E-Science) Os participantes têm de fornecer recursos para a VO em que se inscrevem. Cada VO tem um conjunto limitado de recursos para utilizar embora alguns recursos possam pertencer a mais de uma VO.

40 Modelos de Grid Generic Grid model Utility Grid model Desktop Grid model Grid Computing - Modelos Consultar:

41 Grid Middleware Evolução dos sistemas Grid 1º Geração: Metacomputação 2º Geração: Resource-oriented 3º Geração: Service-oriented Service orientation para virtualizar os recursos Tudo é visto como um serviço! Consultar:

42 Grid security Autenticação Encriptação e integridade dos dados Autorização Consultar: