Sistemas Distribuídos

Transcrição

1 Sistemas Distribuídos Revisão de redes Modelos e arquitecturas 12/13 Sistemas Distribuídos 1 Objectivo das aulas desta semana Rever o modelo de arquitectura das redes Rever a forma de programação distribuída baseada em mensagens (aulas práticas) Compreender o modelo cliente-servidor e suas evoluções Perceber as limitações do modelo de programação baseado em mensagens e a evolução para o RPC Ca Revisão baseada nos Capitulos do livro 2, 3 e 4 12/13 Sistemas Distribuídos 2

2 Nova camadas de software Middleware Aplicações Middleware Sistema Operativo Hardware Bibliotecas (DLL) Protocolos Servidores Plataformas Plataformas de Middleware Os Sistemas Distribuídos são suportados por diversas componentes frequentemente designadas por plataformas de Middleware 12/13 Sistemas Distribuídos 3 A rede que interliga o sistema distribuído Revisão 12/13 Sistemas Distribuídos 4

3 Programação da comunicação: modelo Processo porto Canal de comunicação porto Processo API da comunicação rede transporte rede lógico físico modo utilizador modo sistema 12/13 Sistemas Distribuídos 5 Redes de Dados Fornecer uma base mínima de compreensão das redes de dados Arquitectura Organização Revisão Protocolos Identificar os aspectos relevantes das redes de dados na concepção de sistemas distribuídos 12/13 Sistemas Distribuídos 6

4 Características habituais das Arquitecturas Físicas Redes Locais Transmissão em difusão Largura de Banda muito grande Topologias de bus ou anel Encaminhamento trivial Menor escalabilidade Maior tolerância a faltas Redes de Larga Escala Transmissão ponto a ponto Banda passante com limitações mas tecnologias tradicionais Topologia malhada com redundância Necessidade de encaminhamento Grande escalabilidade Menor tolerância a faltas 12/13 Sistemas Distribuídos 8 Modelo OSI 12/13 Sistemas Distribuídos 10

5 Modelo OSI Do nível físico ao nível transporte Rede IP Processo Utilizador Rede TCP Anel (ring) Frame Relay ATM Malha (mesh) Bus GPRS UMTS Ethernet Processo Utilizado 12/13 Sistemas Distribuídos 11 OSI -Nível Físico Funções: conseguir transmitir 1 bitde informação sobre meio físico de interligação Velocidade de propagação, atenuação, imunidade ao ruído, etc. Nível Físico define: Níveis eléctricos do sinal, características temporais Protocolos de codificação, baseados no funcionamento da rede (taxa de erros, recuperação de relógio, ) Placas de interface (network cards) Interface eléctrica Aspectos mecânicos dos conectores Anel (ring) Malha (mesh) Bus 12/13 Sistemas Distribuídos 12

6 OSI - Nível Lógico ou Ligação de Dados Funções: transmissão de pacotes, ou tramas, entre máquinas ligadas à mesma rede física Nível Lógico define: Delimitadores de trama Endereço físico do destinatário Multiplexagem do meio de transmissão (emissor) Detecção do endereço do destinatário (receptor) Definição da unidade básica de informação (bit, octeto) Recuperação de erros de transmissão Controlo de fluxo Frame Relay GPRS UMTS ATM Ethernet 12/13 Sistemas Distribuídos 13 OSI -Nível Rede Rede IP Funções: interligar máquinas independentemente da rede física a que estão ligadas Uma rede lógica passa a ser composta pela interligação de várias redes físicas Nível Rede define: Formato dos pacotes de dados Mecanismos de encaminhamento entre redes Fundamental para redes malhadas Normalmente baseados em tabelas de encaminhamento Protocolo de rede OSI: X.25 Com ligação, sequencialidade, controlo de fluxo Protocolo de rede Internet: IP Sem ligação nem garantias de qualidade 12/13 Sistemas Distribuídos 14

7 Nível Transporte Processo Utilizador Rede TCP Funções: oferecer um serviço de transmissão de informação que permita a comunicação entre utilizadores finais Características Com ou sem ligação Comunicação fiável Garantia de entrega Garantia de ordem Segmentação Controlo de fluxo Notificação de excepções na comunicação Processo Utilizador 12/13 Sistemas Distribuídos 15 A Internet como um Relógio de Areia Mail Web Audio VoIP Video IM Web Services Passível de alterações Maior inovação TCP / UDP IP Difícil de alterar Ethernet GPRS Satélite Bluetooth 12/13 Sistemas Distribuídos 16

8 Interfaces de Comunicação Interacção baseada na troca de mensagens Facilidade de transporte para múltiplos sistemas Exploração das APIs normais de comunicação Tipicamente da API de transporte (sockets) Exemplos telnet, rlogin, Winrdpaplicações de terminal remoto ftp, samba Transferência de ficheiros SMTP Correio electrónico Problemas? Cada aplicação possui um protocolo próprio Dificulta a utilização do protocolo por terceiros Desempenho porque é executado em modo utilizador 12/13 Sistemas Distribuídos 17 Interfaces de Comunicação Máquina A Máquina B aplicação Níveis 7 a 5 Níveis 7 a 5 aplicação Sockets, TLI Nível 4 Transporte Nível 4 Transporte Sockets, TLI OS kernel Níveis 3 a 1 Níveis 3 a 1 OS kernel 12/13 Sistemas Distribuídos 18

9 Caracterização do canal de Comunicação Tipos de canais Com ligação Normalmente serve 2 interlocutores Normalmente fiável, bidireccional e garante sequencialidade Sem ligação Normalmente serve mais de 2 interlocutores Normalmente não fiável: perdas, duplicação, reordenação Canal com capacidade de armazenamento em fila de Mensagens Normalmente com entrega fiável das mensagens 12/13 Sistemas Distribuídos 19 Portos Extermidades do Canal de Comunicação Portos São extremidades de canais de comunicação Em cada máquina são representados por objectos do modelo computacional local Possuem 2 tipos de identificadores: O do objecto do modelo computacional Para ser usado na API pelos processos locais Ex.: File descriptors, handles O do protocolo de transporte Para identificar a extremidade entre processos (ou máquinas) diferentes Ex.: Endereços TCP/IP, URL 12/13 Sistemas Distribuídos 20

10 Aula Prática 1º Semana 12/13 Sistemas Distribuídos 22 Interface sockets Domínio do socket: define a família de protocolos associada a um socket INET: família de protocolos Internet Unix: comunicação entre processos da mesma máquina Outros Tipo do socket: define as características do canal de comunicação Stream: canal com ligação, bidireccional, fiável, interface tipo sequência de octetos Datagram: canal sem ligação, bidireccional, não fiável, interface tipo mensagem Raw: permite o acesso directo aos níveis inferiores dos protocolos (ex: IP na família Internet)

11 Sockets sem Ligação Servidor Cliente socket socket bind bind recvfrom sendto sendto recvfrom Sockets UDP em Java (Cliente) import java.net*; import java.io*; public class UDPClient{ public static void main(string args[]){ // args give message contents and server hostname DatagramSocket asocket = null; try { asocket = new DatagramSocket(); byte [] m = args [0].getBytes(); InetAddress ahost = InetAddress.getByName(args[1]); Int serverport = 6789; DatagramPacket request = new DatagramPacket(m, args[0].length(), ahost, serverport); asocket.send(request); byte[]buffer = new byte[1000]; DatagramPacket reply = new DatagramPacket(buffer, buffer.length); asocket.receive(reply); System.out.println( Reply: + new String(reply.getData())); } catch (SocketException e){system.out.println( Socket: + e.getmessage()); } catch (IOException e){system.out.println( IO: + e.getmessage()); } finally { if(asocket! = null) asocket.close();} } } Constrói um socket datagram (associado a qualquer porto disponível) Conversão do nome DNS para endereço IP Cada mensagem enviada tem que levar junto identificador do processo destino: IP e porto

12 Sockets UDP em Java (Servidor) import java.net*; import java.io*; public class UDPServer{ public static void main(string args[]){ DatagramSocket asocket = null; try{ Constrói um socket datagram asocket = new DatagramSocket(6789); (associado ao porto 6789) byte[] buffer = new byte [1000]; while(true){ DatagramPacket request = new DatagramPacket(buffer, buffer.legth); asocket.receive(request); DatagramPacket reply = new DatagramPacket(request.getData(), request.getlength(); request.getaddress(), Recebe mensagem request.getport()); asocket.send(reply); } Extrai da } catch (SocketException e){system.outprintln( Socket: + e.getmessage()); mensagem o } catch (IOException e){system.out.println( IO: + IP e porto do e.getmessage()); processo } finally {if(asocket! = null) asocket.close();} } origem para } responder Sockets com Ligação Servidor Cliente socket Servidor Cliente bind Socket Escuta listen accept socket connect Socket Ligação bytes bytes Socket Cliente read write write read

13 Sockets Stream em Java (Cliente) import java.net*; import java.io*; public class TCPClient{ public static void main(string args[]){ // args: message and destin. hostname classe Socket suporta o socket Socket s = null; cliente. Argumentos: nome DNS try{ do servidor e o porto. int server Port = 7896; s = new Socket (args[1], Construtor serverport); não só cria o socket DataInputStream = new como efectua a ligação TCP DataInputStream(s.getInputStream()); DataOutputStream out = newdataoutputstream (s.getoutputstream()); WriteUTF / readutf para out.writeutf(args[0]); Universal String data = in.readutf(); Métodos getinputstream / transfer System.out.prtintln( Received: + data); }catch (UnknownHostException e){ getoutputstream permitem format / para System.out.println( Sock: aceder + e.getmessage()); aos dois streams as cadeias de }catch (EOFException definidos pelo socket caracteres e){system.out.println( EOF: e.getmessage()); }catch (IOException e){system.out.println( IO: e.getmessage()); }finally {if(s!=null) try{s.close();}catch (IOException e} } Sockets Stream em Java (Servidor) import java.net*; import java.io*; public class TCPServer{ Cria socket servidor que fica à public static void main(string escuta args[]){ no porto serverport try{ int server Port = 7896; Bloqueia até cliente ServerSocket listensocket = new ServerSocket(serverPort); estabelecer ligação. while(true){ Socket connectionsocket = listensocket.accept(); myconnection c = new myconnection(connectionsocket); } }catch (IOException e){system.out.println( Listen: +e.getmessage());} } Cria novo socket servidor com quem é } estabelecida ligação com o cliente e onde os dados são recebidos

14 Aula prática SocketClient.java SocketServer.java 12/13 Sistemas Distribuídos 32 Integração da Comunicação no Sistema Operativo

15 Integração da Comunicação no Sistema Operativo As aplicações invocam uma API que lhes permite aceder ao mecanismos de transporte A API deve ser conceptualmente independente de uma determinada pilha de protocolos de transporte Alternativas de implementação Funções de ES genéricas Ex: sockets parcialmente Funções de comunicação específicas Ex: Algumas funções dos sockets Ex: TLI Mecanismo básico de comunicação entre processos do sistema operativo Ex: IPC dos micro-núcleos Winsock Implementation Protocol drivers Application TDI IRPs IPX/SPX Mswsock.dll Msafd.dll Wshtcpip.dll SPI Service Providers NtReadFile, NtWriteFile, NtCreateFile, NTDeviceloControlFile User mode Kernel mode \Device\AFD AFD FSD TDI NetBEUI Ntdll.dll TCP/IP

16 Três gerações de sistemas distribuídos Sistemas distribuídos iniciais Final da década de 70, início da década de nós ligados por uma rede local, ligação limitada à internet Poucos serviços oferecidos (partilha de ficheiros, impressoras, ) Sistemas à escala da Internet Década de 90 Sistema global de larga escala, composto por redes de redes Altamente heterogéneo Nós são essencialmente servidores e desktops Sistemas contemporâneos Inclui nós móveis (laptops, smart phones, etc) Inclui nós embebidos em coisas (e.g. máquinas de lavar, smart homes) Nós autónomos substituídos por grupos de nós que oferecem serviços na Cloud 12/13 Sistemas Distribuídos 43 Três gerações de sistemas distribuídos 12/13 Sistemas Distribuídos 44

17 Modelos arquitecturais 12/13 Sistemas Distribuídos 45 Quem são as entidades que comunicam através da rede num sistema distribuído? Processos ou tarefas Por omissão, assumiremos Nós sistema distribuído de processos Em alguns sistemas primitivos não existe a abstracção de processo ou tarefa Exemplo: redes de sensores Objectos Exemplo: objecto Java invoca método de outro objecto remoto Veremos mais adiante na cadeira Web Services Veremos mais adiante na cadeira Componentes (Fora do âmbito da cadeira) 12/13 Sistemas Distribuídos 46

18 Como comunicam estas entidades? 12/13 Sistemas Distribuídos 47 Comunicação directa Estudaremos ambos em breve Interface de comunicação entre-processos Invocação remota Protocolos de pedido-resposta Exemplo: HTTP Chamada remota de procedimentos Programador define conjunto de procedimentos que servidor oferece Cliente pode invocar esses procedimentos como se tratassem de chamadas locais Invocação remota de métodos Semelhante a chamada remota de procedimentos, mas no mundo OO 12/13 Sistemas Distribuídos 48

19 Comunicação directa Exemplo: chamada remota de procedimentos CLIENTE SERVIDOR Bloqueia-se Chamada ao procedimento remoto: envio dos parâmetros Cliente bloqueado Execução do procedimento pedido Retoma a execução Retorno do procedimento remoto: devolução dos resultados Sistemas Distribuídos 2009/10 12/13 Sistemas Distribuídos 49 Comunicação directa Exemplo: invocação remota de métodos As potencialidades da noção de objecto tornaram-na atractiva para descrever diversos conceitos em Eng. Informática dando origem a uma tendência de evolução que se designa por OO de Object Oriented Diferenças entre a aproximação baseada em objectos e uma arquitectura cliente-servidor: No RPC invocam-se funções, os dados são entidades separadas Num sistema de objectos invoca-se uma função num determinado objecto que, como contém o seu próprio estado, torna indissociável a invocação da operação dos dados a que se aplica 12/13 Sistemas Distribuídos 50

20 Comunicação directa Exemplo: invocação remota de métodos Objecto remoto Interface Remota Dados m1 m2 m3 Código dos métodos m4 m5 m6 Exemplos de Plataformas RMI do Java DCOM Distributed Component Object Model - Microsoft Common Object Request Broker Architecture (CORBA) -Object Management Group (OMG) 12/13 Sistemas Distribuídos 51 Comunicação indirecta Em comunicação directa, em geral: Emissor tem de conhecer receptor Emissor e receptor têm de existir simultaneamente Paradigmas de comunicação indirecta introduzem terceira entidade para permitir: Desacoplamento espacial Emissor de mensagem não precisa conhecer receptor(es) Desacoplamento temporal Emissor e receptor não têm de existir simultaneamente 12/13 Sistemas Distribuídos 52

21 Comunicação indirecta: paradigmas Comunicação em grupo Suporte a comunicação um-para-muitos Emissor envia mensagem a um identificador de grupo Não precisa saber quem são os membros do grupo Sistemas publicador/subscritor (publish-subscribe) Publicadores emitem mensagens (chamadas eventos) Subscritores registam-se e expressam interesse em determinados eventos Cada mensagem publicada é disseminada aos subscritores interessados 12/13 Sistemas Distribuídos 53 Comunicação indirecta: paradigmas Filas de mensagens Troca de mensagens ponto-a-ponto em que há desacoplamento espacial/temporal Emissor coloca mensagem em fila (mantida por um servidor central - broker), receptor retira mensagem de uma fila As mensagens recebidas pelo broker podem ser reformatadas, combinadas ou modificas por forma a serem entendidas pelo sistema de destino Normalmente não é necessário modificar os sistemas envolvidos. Os Message Brokers fornecem adaptadores para as aplicações mais comuns (SAP, Baan, PeopleSoft, etc.). 12/13 Sistemas Distribuídos 54

22 Comunicação indirecta: paradigmas Partilha de memória distribuída Permitem que processos que não partilham memória física escrevam e leiam estruturas de dados em memória distribuída Sistema mantém cópias locais da memória partilhada e sincroniza alterações através de troca de mensagens Tudo transparentemente à aplicação Variante recente deste paradigma: espaços de tuplos 12/13 Sistemas Distribuídos 55 Papéis e responsabilidades 12/13 Sistemas Distribuídos 57

23 Modelo Cliente-Servidor Servidores mantêm recursos e servem pedidos de operações sobre esses recursos Servidores podem ser clientes de outros servidores Simples e permite distribuir sistemas centralizados muito directamente Mas pouco escalável: limitado pela capacidade do servidor e pela rede que o liga aos clientes Client invocation invocation Server result Server result Client Key: Process: Computer: 12/13 Sistemas Distribuídos 58 Modelo Entre-Pares (Peer-to-Peer) Todos os processos têm papéis semelhantes, sem distinção entre clientes e servidores Mais ampla distribuição de carga (computação e rede) Maior escalabilidade Sistema expande-se acrescentando mais pares Coordenação mais complicada que clienteservidor Sharable objects Peers 5... N Peer 1 Application Peer 2 Application Peer 3 Application Peer 4 Application 12/13 Sistemas Distribuídos 59

24 Entre-Pares (Peer-to-Peer) 12/13 Sistemas Distribuídos 60 Como mapear objectos e serviços no modelo físico? 12/13 Sistemas Distribuídos 61

25 Serviço Oferecido por Múltiplos Servidores Distribui carga do servidor por múltiplos servidores Duas opções: Particionamento: cada servidor mantém uma partição do conjunto de objectos Replicação: todos os servidores mantêm réplicas do mesmo conjunto de objectos Client Client Service Server Server Server 12/13 Sistemas Distribuídos 62 Serviço Oferecido por Múltiplos Servidores 12/13 Sistemas Distribuídos 63

26 Servidores Proxy e Caches Mantêm cópias de sub-conjunto dos objectos num computador mais próximo dos clientes Melhor desempenho e disponibilidade Outros objectivos: por exemplo, acesso ao exterior através de firewall Client Proxy server Web server Client Web server 12/13 Sistemas Distribuídos 64 Servidores Proxy e Caches 12/13 Sistemas Distribuídos 65

27 Código Móvel (Applets) a) client request results in the downloading of applet code Client Applet code Web server b) client interacts with the applet Client Applet Web server Parte do código do servidor é transferido para o cliente e executado localmente Execução não sofre com atrasos de rede e variações de largura de banda Bom desempenho de aplicações interactivas 12/13 Sistemas Distribuídos 66 Código Móvel (Applets) 12/13 Sistemas Distribuídos 67

28 Agentes móveis Programa em execução (código+dados) que viaja de um computador para outro na rede Executa alguma tarefa em nome de alguém Em cada computador, invoca serviços locais (e.g. acesso a BD local para consultar informação local) Comparado com a solução de ter um cliente remoto a invocar os mesmos serviços remotamente: Menor custo e tempo de comunicação 12/13 Sistemas Distribuídos 68 Modelos fundamentais 12/13 Sistemas Distribuídos 69

29 Modelos fundamentais Explicitam quais são as entidades e características essenciais de um sistema Permitem-nos: Generalizar o o que é possível e impossível resolver nesse modelo (por provas matemáticas Desenhar soluções mais facilmente, pois não pensamos nos detalhes de hardware, etc Provar matematicamente propriedades das nossas soluções fiabilidade, desempenho, escalabilidade, segurança Determinar facilmente se determinada solução funciona num sistema em particular basta verificar se os pressupostos do modelo usado para a solução se verificam no sistema em particular 12/13 Sistemas Distribuídos 70 Modelos fundamentais Logo, antes de desenhar qualquer solução, é muito boa prática definir os modelos fundamentais! Três modelos fundamentais: Modelo de interacção Modelo de faltas Modelo de segurança 12/13 Sistemas Distribuídos 71

30 Modelo de Interacção Mais à frente no semestre, analisaremos modelos de interacção em maior detalhe Pressupostos sobre o canal de comunicação? Latência, que inclui: Tempo de espera até ter acesso à rede + Tempo de transmissão da mensagem pela rede + Tempo de processamento gasto em processamento local para enviar e receber a mensagem Largura de banda Quantidade de informação que pode ser transmitida simultaneamente pela rede Jitter Que variação no tempo de entrega de uma mensagem é possível? Canal assegura ordem de mensagens? Mensagem pode chegar repetida? E sobre os relógios locais? Taxa com que cada relógio local se desvia do tempo absoluto Modelo de Falhas Que componentes podem falhar? De que forma podem falhar? Por enquanto, assumiremos modelo simples: Processos podem falhar silenciosamente Mensagens podem perder-se na rede Mais à frente no semestre, analisaremos outros modelos de falhas em maior detalhe

31 Modelo de Segurança Que ameaças existem sobre o sistema? Que ataques são possíveis? Por enquanto, assumiremos que não existem quaisquer ameaças sobre o sistema Mais à frente no semestre, analisaremos modelos de segurança mais realistas