Curso de Programação Concorrente. Notas de aula

Transcrição

1 Curso de Programação Concorrente Notas de aula Cláudio Geyer. Programação concorrente (C. Geyer) Troca de Mensagens 1

2 Autores Autores Local C. Geyer Instituto de Informática disciplina: Sistemas Operacionais II ano: 2002/2 revisões 2004/2 2005/2 Programação concorrente (C. Geyer) Troca de Mensagens 2

3 Súmula Súmula conceitos básicos troca de mensagens, características, mensagem, primitivas, nomeação direta, direta simétrica e assimétrica, indireta identificação de processos buferização situações de erro Programação concorrente (C. Geyer) Troca de Mensagens 3

4 Bibliografia Bibliografia Andrews, G. Concurrent Programming - Principles and Practice. The Benjamin/Cummings, Redwood, Andrews, G. Foundations of Multithreaded, Parallel, and Distributed. Addison-Wesley, Silberschatz, A. and Galvin, P. Operating Systems Concepts. (Fith edition), Reading, MA, Addison-Wesley, Usado na preparação inicial desses slides (seção 4.6 da 4a edição, 1994) Tanenbaum, A.S. Modern Operating Systems. Englewood Clifss, NJ, Prentice-Hall, Programação concorrente (C. Geyer) Troca de Mensagens 4

5 Biblografia Bibliografia relacionada Lynch, N. Distributed Algorithms. Morgan Kaufmann Publishers, Inc., San Francisco, CA, Barbosa, V. C. An Introduction to Distributed Algorithms. MIT Press, Raynal, M. Distributed algorithms and protocols. Wiley, Chichester, Programação concorrente (C. Geyer) Troca de Mensagens 5

6 Conceitos Básicos Conceitos básicos definição: modelo de comunicação para processos que não compartilham variáveis modelo de comunicação onde dados privados de um processo são enviados (comunicados, copiados) a outro processo através de mecanismos (primitivas) especiais Programação concorrente (C. Geyer) Troca de Mensagens 6

7 Conceitos Básicos Conceitos básicos motivação modelo de processos, como o Unix, onde não há compartilhamento de variáveis mesmo sobre memória fisicamente compartilhada (mesma máquina) processos executando em máquinas distintas, sem memória fisicamente compartilhada outros nomes redes de computadores: processos em 2 estações diferentes IPC: interprocess communication alguns autores incluem também nesse nome a comunicação por variáveis compartilhadas Programação concorrente (C. Geyer) Troca de Mensagens 7

8 Conceitos Básicos Conceitos básicos (cont.) características gerais comunicação e sincronização na mesmas primitivas diferentes sintaxes e semânticas pode ser usado conjuntamente com variáveis compartilhadas Programação concorrente (C. Geyer) Troca de Mensagens 8

9 Conceitos Básicos Conceitos básicos (cont.) primitivas mínimas send(mensagem) processo A envia dados contidos em mensagem a outro processo receive(mensagem) processo B recebe dados contidos em mensagem send mensagem receive A B Programação concorrente (C. Geyer) Troca de Mensagens 9

10 Conceitos Básicos Conceitos básicos (cont.) tamanho da mensagem fixo variável implementação da primitiva é mais simples programação mais complexa quando as mensagens da aplicação tem tamanho variável eventualmente, o programador precisa explicitar o tamanho de cada mensagem canal de comunicação também chamado de ligação (link) suporte abstrato (lógico, de programação) pelo qual as mensagens são transferidas de um processo a outro Programação concorrente (C. Geyer) Troca de Mensagens 10

11 Conceitos Básicos Conceitos básicos (cont.) propriedades dos canais de comunicação como o canal é estabelecido (criado)? quantos processos (2 ou mais) podem estar associados a um canal? quantos canais distintos podem existir entre 2 processos? qual é a capacidade em mensagens (ou bytes) de um canal? tamanho das mensagens: fixo, variável, limite canal unidirecional ou bidirecional? mensagens somente em um sentido ou nos dois? se um canal está associado a somente 2 processos: unidirecional: somente um processo pode enviar e o outro somente receber Programação concorrente (C. Geyer) Troca de Mensagens 11

12 Conceitos Básicos Conceitos básicos (cont.) propriedades dos canais de comunicação outros tipos comunicação direta ou indireta comunicação simétrica ou assimétrica buferização automática ou explícita envio por cópia ou por referência Programação concorrente (C. Geyer) Troca de Mensagens 12

13 Nomeação Nomeação conceito como os processos se designam durante a comunicação comunicação direta cada processo deve explicitar a identificação do outro processo send(p, mensagem) processo envia mensagem ao processo P receive(q, mensagem) processo recebe mensagem enviada por Q somente de Q! Programação concorrente (C. Geyer) Troca de Mensagens 13

14 Nomeação Nomeação comunicação direta usualmente o canal é estabelecido automaticamente entre os dois processos basta que eles se conheçam um canal liga somente dois processos entre dois processos existe somente 1 canal bidirecional Programação concorrente (C. Geyer) Troca de Mensagens 14

15 Nomeação Nomeação(cont.) comunicação direta (cont.) exemplo produtor-consumidor produtor gera elemento e envia ao consumidor por um send consumidor recebe elemento por um receive e o consome observações variáveis elemento distintas nos dois processos Programação concorrente (C. Geyer) Troca de Mensagens 15

16 Nomeação(cont.) comunicação direta (cont.) exemplo produtor-consumidor diagrama Nomeação Elemento Produtor Consumidor Programação concorrente (C. Geyer) Troca de Mensagens 16

17 Nomeação Nomeação(cont.) comunicação direta (cont.) exemplo produtor-consumidor Código produtor repeat... produz(elemento);... send(consumidor, elemento);... until false; Programação concorrente (C. Geyer) Troca de Mensagens 17

18 Nomeação Nomeação(cont.) comunicação direta (cont.) exemplo produtor-consumidor código consumidor repeat... receive(produtor, elemento);... consome(elemento);... until false; Programação concorrente (C. Geyer) Troca de Mensagens 18

19 Nomeação(cont.) comunicação direta simétrica Nomeação tanto emissor quanto o receptor devem conhecer (ou explicitar) o parceiro comunicação direta assimétrica somente o emissor conhece o receptor receptor não nomeia o emissor recebe de qualquer outro processo emissor usualmente se usa a constante any ou null receive(any, mensagem) desvantagens da comunicação direta caso os nomes de processos sejam alterados, é necessário alterar todas as primitivas send/receive Programação concorrente (C. Geyer) Troca de Mensagens 19

20 Nomeação Nomeação(cont.) tipos de identificação de processos estática usualmente strings definidos pelo programador e passados ao sistema de troca de mensagens (implementação) durante a criação do processo exemplo: kernel HetNOS; mw proposto em projeto de pesquisa do II/ seqüência de inteiros atribuída pelo sistema no início da execução exemplo: MPI Programação concorrente (C. Geyer) Troca de Mensagens 20

21 Nomeação Nomeação(cont.) tipos de identificação de processos dinâmica identificadores criados pelo sistema no momento da criação de cada processo exemplo: Unix (fork), PVM, linguagens orientadas a objetos Programação concorrente (C. Geyer) Troca de Mensagens 21

22 Nomeação indireta conceitos uso de caixas postais onde Nomeação Indireta processos emissores colocam suas mensagens processos receptores retiram suas mensagens usualmente conceitualmente uma caixa postal pode ser compartilhada por vários processos emissores e receptores em alguns casos, somente um processo compartilha em recepção motivo: dificuldade de implementação exemplo: canais da linguagem SR Programação concorrente (C. Geyer) Troca de Mensagens 22

23 Nomeação Indireta Nomeação indireta conceitos primitivas send(c, mensagem) receive(c, mensagem) onde C é o nome da caixa postal Programação concorrente (C. Geyer) Troca de Mensagens 23

24 Nomeação Indireta Nomeação indireta caixas postais de processo um processo é responsável pela criação da caixa postal caixa postal pertence ao processo ela é destruída automaticamente quando o processo é destruído exige eventualmente um aviso aos outros processos usualmente somente ele pode receber pela caixa Programação concorrente (C. Geyer) Troca de Mensagens 24

25 Nomeação indireta caixas postais de processo para o uso por outros processos Nomeação Indireta o identificador da caixa postal deve ser enviado aos outros processos usualmente por troca de mensagens como desbloquear a primeira troca? o processo proprietário cria o processo emissor e nesse momento passa a caixa como argumento da primitiva de criação fork(caixa_postal_1,...) através de primitivas especiais Programação concorrente (C. Geyer) Troca de Mensagens 25

26 Nomeção Indireta Nomeação indireta caixas postais de processo (cont.) criação de caixas postais de processo diversos modos por exemplo: por variáveis de tipo predefinido exemplo: os channel em SR Programação concorrente (C. Geyer) Troca de Mensagens 26

27 Nomeação indireta Nomeação indireta caixas postais de sistema pertence ao sistema e não a um processo sistema oferece primitivas para criação de caixas postais envio e recepção de mensagens destruição de caixas postais Programação concorrente (C. Geyer) Troca de Mensagens 27

28 Nomeação indireta Nomeação indireta caixas postais de sistema proprietário da caixa postal inicialmente o processo que solicitou a criação eventualmente existem primitivas para alteração de privilégios como troca de proprietário quem pode enviar ou receber destruição automática em caso de nenhum processo solicitar a destruição similar a um coletor de lixo (garbage collector) Programação concorrente (C. Geyer) Troca de Mensagens 28

29 Estática Direta Exemplo de nomeação estática, direta MPI ambiente de programação paralela padrão definido por várias instituições: universidades, órgãos governamentais, empresas várias implementações: universidades, empresas modelo MPI código único executado em conjunto de n cpus criação de processos: implícita mapeamento usual: 1 processo por cpu nomes de processos: 0, 1, 2, 3, ; dados automaticamente Programação concorrente (C. Geyer) Troca de Mensagens 29

30 Estática Direta Exemplo: envio de Ola Mundo do processo 0 ao 1 int id, tam; char message[12]; % 3 chamadas a primitivas de controle de MPI % inicialização % nome (id) desse processo % quantidade de processos MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, &id); MPI_Comm_size(MPI_COMM_WORLD, &tam); Programação concorrente (C. Geyer) Troca de Mensagens 30

31 Estática Direta Exemplo: envio de Ola Mundo do processo 0 ao 1 if (id == 0) { strcpy(mensagem, Ola mundo ); % p0: envia 12 caracteres em mensagem ao processo 1 MPI_Send($mensagem, 12, MPI_CHAR, 1, 100, MPI_COMM_WORLD); } else { % p1 (não 0) : recebe 12 caracteres em mensagem do p0 MPI_Recv($mensagem, 12, MPI_CHAR, 0, 100, MPI_COMM_WORLD, $status); }; Programação concorrente (C. Geyer) Troca de Mensagens 31

32 Exemplo de nomeação estática, indireta sockets TCP modelo Estática Indireta biblioteca de comunicação com protocolo TCP/IP usualmente encontrada em sistemas Unix, Linux, cliente/servidor cliente requisita conexão ao servidor cliente conhece servidor: IP e porta (processo) servidor aceita conexão cliente (ou servidor) envia mensagem ao servidor (ou cliente) pela conexão nomeação em dois níveis estático, explícito: conexão Programação concorrente (C. Geyer) Troca de Mensagens 32

33 Estática Indireta Exemplo de nomeação estática, indireta: Java sockets TCP SERVIDOR (...) ServerSocket s = new ServerSocket(8189); while (true){ } Socket conexao = s.accept(); /* Disparar uma thread que faça algo, passando conexão como parâmetro */ (...) CLIENTE (...)Socket s; try{ s =new Socket( poncho,8189); }catch(exception e) {/*Erro*/ System.exit(0); Programação concorrente (C. Geyer) Troca de Mensagens 33 } /* Socket conectado */

34 RECEBER (...)InputStream input; try { input = s.getinputstream(); } catch (IOException e) {(...)} ObjectInputStream objinput; try { objinput = new ObjectInputStream(input); String line = (String) objinput.readobject( ); }catch (Exception e){(...)} ENVIAR (...) OutputStream output; try { output = s.getoutputstream(); } catch (IOException e) {(...)} ObjectOutputStream objoutput; try { Estática Indireta objoutput = new ObjectOutputStream(output); objoutput.writeobject( Olá! ); }catch (Exception e){(...)} Programação concorrente (C. Geyer) Troca de Mensagens 34

35 Exemplo com C e TCP sockets Código em C: /* server */ #include <stdlib.h> #include <stdio.h> #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <string.h> Exemplo C TCP Sockets #define PORT int server_sock; struct sockaddr_in server_addr; /* * create the socket file descriptor */ if (( server_sock = socket(pf_inet, SOCK_STREAM, IPPROTO_TCP)) < 0 ) { exit(-1); /* exit with error, would print a descrition */ } Programação concorrente (C. Geyer) Troca de Mensagens 35

36 Exemplo com C e TCP sockets (cont.) Exemplo C TCP Sockets /* * assign an address to server socket */ bzero(&server_addr, sizeof(server_addr)); /* initialize with 0's */ server_addr.sin_family = AF_INET; /* internet address family */ server_addr.sin_addr.s_addr = htonl(inaddr_any); /* any local ip */ server_addr.sin_port = htons(port); /* fixed local port */ if ( bind(server_sock, (struct sockaddr*) &server_addr,sizeof(server_addr)) < 0 ) { exit(-1); /* exit with error */ } /* * start to listen for incoming connections, with a pending * queue of size 5 */ if ( listen(server_socket, 5) < 0 ) { exit(-1); } Programação concorrente (C. Geyer) Troca de Mensagens 36

37 Exemplo C TCP Sockets Exemplo em C e TCP sockets (cont.) /* loop accepting connections and delegating them to separate threads */ while (1) { int sock; struct sockaddr_in client_addr; /* address of the remote-side */ if ( (sock = accept(server_socket, &client_addr, sizeof(client_addr))) < 0 ) { exit(-1); /* do some error handling */ } else { /* do something with the newly accepted connection, e.g.launch a thread to handle it */ /*... */ } } Programação concorrente (C. Geyer) Troca de Mensagens 37

38 Exemplo C TCP Sockets Exemplo em C e TCP sockets (cont.) /* cliente em C */ #include <stdio.h> #include <sys/types.h> #include <sys/socket.h> #include <netinet/in.h> #include <netdb.h> #define PORT int sock; struct sockaddr_in serv_addr; struct hostent *server; Programação concorrente (C. Geyer) Troca de Mensagens 38

39 Exemplo C TCP Sockets Exemplo em C e TCP sockets (cont.) if ( (sock = socket(af_inet, SOCK_STREAM, 0)) < 0) { exit(-1); /* error handling */ } /* DNS lookup of server's name*/ if ((server = gethostbyname("poncho") ) == NULL) { exit(-1); /* error handling */ } /* convert the result to the address format expected by connect */ bzero((char *) &serv_addr, sizeof(serv_addr)); serv_addr.sin_family = AF_INET; bcopy((char *)server->h_addr, (char *)&serv_addr.sin_addr.s_addr, server->h_length); serv_addr.sin_port = htons(port); Programação concorrente (C. Geyer) Troca de Mensagens 39

40 Exemplo em C e TCP sockets (cont.) Exemplo C TCP Sockets /* receber em C */ int MAXMSG = 1024; int BUFSIZE = MAXMSG+1; char buff[bufsize]; /* should be big enough to hold the largest message */ bzero(buff, BUFSIZE); int n; char* p = buff; for (int remaining = MAXMSG; remaining <0; remaining-=n) { n = read(sock, p, remaing); if ( n <= 0 ) { /* EOF or error */ break; } else p+=n; /* update buffer pointer */ } printf("%s", buff); Programação concorrente (C. Geyer) Troca de Mensagens 40

41 Exemplo C TCP Sockets Exemplo em C e TCP sockets (cont.) /* enviar em C */ char* msg = "Olá!"; char* buff = msg; for (int remaining=strlen(msg); remaing 0;) { n = write(sock, buff, remaining); if ( n < 0 ) { /* error */ } else { buff +=n ; /* add offset to the buffer pointer */ remaining -= n; } } close(sock); Programação concorrente (C. Geyer) Troca de Mensagens 41

42 Exemplo de nomeação dinâmica direta PVM biblioteca de programaçao distribuída (paralela) fornecedor único predecessora de MPI modelo PVM nomeação dinâmica pelo sistema Dinâmica Direta modelo de ID de processos Unix estendido a redes spawn primitiva para criação de processos em rede retorna ID do filho ao processo pai send: indica ID do processo receptor receive: pode indicar ID do emissor ou any Programação concorrente (C. Geyer) Troca de Mensagens 42

43 Indireta Estática Exemplo de nomeação estática indireta SR em livro modelo linguagem criada por G. Andrews usada no livro [Andrews, 1991] canais declarados por programa semântica global: automaticamente conhecidos por todos os processos processos declarados estaticamente Programação concorrente (C. Geyer) Troca de Mensagens 43

44 Indireta Estática Exemplo código: channel mensagem (string D); // canal global process emissor:: string A = Ola mundo ; send mensagem (A); end process; process receptor:: string B; receive mensagem (B); end process; // informação a enviar // envia A pelo canal // área para receber // recebe em B pelo canal Programação concorrente (C. Geyer) Troca de Mensagens 44

45 Buferização Buferização e sincronização buffer local onde são colocadas mensagens enviadas e (ainda) não recebidas similar a uma fila de espera Programação concorrente (C. Geyer) Troca de Mensagens 45

46 Buferização Buferização e sincronização capacidade zero: maior eficiência pois não há cópia local dos dados (em memória) caso o processo emissor (em nível de aplicação) seja liberado durante a transmissão, deve-se evitar a alteração da área de dados no emissor isto poderia ser feito pela própria aplicação Programação concorrente (C. Geyer) Troca de Mensagens 46

47 Buferização e sincronização capacidade limitada capacidade máxima de n mensagens ou bytes enquanto o buffer está com espaço livre, Buferização a primitiva de envio coloca (copia) a mensagem no buffer e, após, libera o processo emissor quando o buffer esgota: alternativas retorno de erro alguma mensagem é perdida bloqueio do emissor até a recepção liberar posições no buffer Programação concorrente (C. Geyer) Troca de Mensagens 47

48 Buferização Buferização e sincronização capacidade ilimitada teoricamente não existe na prática n pode ser muito superior aos casos produzidos pela aplicação programador codifica como se fosse infinita, sem verificar exceções Programação concorrente (C. Geyer) Troca de Mensagens 48

49 Buferização Buferização e sincronização comunicação síncrona send espera que processo receptor (em nível da aplicação) execute o receive transferência completa em nível de aplicação não exige buffer (ou de tamanho 1) preferida por alguns autores exemplo: modelo CSP do Hoare; linguagem Occam importantes efeitos semânticos e nas técnicas de programação programação mais segura Programação concorrente (C. Geyer) Troca de Mensagens 49

50 Buferização Buferização e sincronização considerações ( técnicas de programação ) capacidade limitada (ou ilimitada pelo programador) comunicação dita assíncrona emissor não sabe se a mensagem foi recebida se necessário envio pelo receptor, após recepção, de um aviso de recepção (ACK) protocolo de comunicação se torna parecido ao síncrono Programação concorrente (C. Geyer) Troca de Mensagens 50

51 Buferização Buferização e sincronização considerações ( técnicas de programação ) capacidade limitada programador deve prever o caso de buffer esgotado e contorná-lo conforme diferentes efeitos da primitiva em uso (erro, bloqueio,...) Programação concorrente (C. Geyer) Troca de Mensagens 51

52 Buferização Buferização e sincronização casos especiais comunicação assíncrona não bloqueante emissor (aplicação) nunca é bloqueado é liberado logo após algum procedimento inicial caso ele seja muito rápido, em caso de buffer esgotado (por exemplo, capacidade zero), mensagens podem ser perdidas em caso de capacidade zero: mensagem não precisa ser buferizada (copiada): maior eficiência programador deve verificar (contornar) as exceções Programação concorrente (C. Geyer) Troca de Mensagens 52

53 Buferização Buferização e sincronização casos especiais a comunicação assíncrona bloqueante (Tanenbaum) quando o emissor é bloqueado até que a mensagem seja copiada da área da aplicação (usuário) ao buffer (sistema) similar à semântica de um printf Programação concorrente (C. Geyer) Troca de Mensagens 53

54 Ordenação Ordenação das mensagens entre 2 pontos 1 processo emissor e 1 processo receptor garantia de ordem única se mensagem m1 foi enviada antes de m2, m1 será recebida antes de m2 Programação concorrente (C. Geyer) Troca de Mensagens 54

55 Confiabilidade Confiabilidade do canal (protocolo) garante (ou não) não perda de mensagem não duplicação de mensagem não alteração do conteúdo Programação concorrente (C. Geyer) Troca de Mensagens 55

56 Sincronização especial Caso especial de TM síncrona Rendezvous bidirecional (em cada troca de mensagem) proposta na linguagem Ada existente na linguagem SR (Andrews 91) bloqueio do emissor até recepção (implícita) de resposta vinda do receptor obs.: o receive não é feito por procedure como no RPC (mais adiante) mas por um comando receive o receive pode estar em qualquer ponto do código (usual) receive seguido de um bloco de código até o return (bidirecional) call receive {...; return } Programação concorrente (C. Geyer) Troca de Mensagens 56

57 Outras Questões Outras questões tipo da mensagem vetor de bytes tipada e estruturada expressão da concorrência em redes nem sempre existem primitivas de criação de tarefas remotas fork, create_thread,... sempre locais ID s tem validade local sincronização construções como mutex, semáforos,... usualmente são locais Programação concorrente (C. Geyer) Troca de Mensagens 57

58 Situações de erro Situações de erro em sistemas distribuídos diferentes erros podem ocorrer por exemplo somente a máquina receptora (sistema) bloqueia-se erro (ou pane total) na linha de comunicação caso término de processo se processo receptor emissor pode enviar mensagens até esgotar buffer emissor pode ficar bloqueado (comunicação síncrona) se processo emissor receptor pode ficar bloqueado eternamente Programação concorrente (C. Geyer) Troca de Mensagens 58

59 Situações de erro (cont.) caso mensagem perdida Situações de erro alternativa A: sistema detecta erro e reenvia a mensagem implica overhead alternativa B: programador (processo emissor) deve detectar e reenviar a mensagem implica programação mais complexa alternativa C: sistema detecta e avisa processo emissor, que deve providenciar uma solução (reenvio se necessário) detecção usualmente por temporização sistema deve enviar aviso de recepção após certo tempo (timeout) Programação concorrente (C. Geyer) Troca de Mensagens 59

60 TM X VC Troca de mensagens X variáveis compartilhadas eficiência memória compartilhada redes programação segura programação simples (intuitiva) modelo único sincronização Programação concorrente (C. Geyer) Troca de Mensagens 60

61 Revisao Revisão motivações para TM uso combinado VC + TM primitivas básicas Programação concorrente (C. Geyer) Troca de Mensagens 61

62 Revisão Revisão send: semântica e argumentos sincronização receive: semântica e argumentos sincronização conceito de canal propriedades de canais Programação concorrente (C. Geyer) Troca de Mensagens 62

63 Revisão Revisão tamanho da mensagem nomeação conceito direta direta assimétrica indireta estática x dinâmica conceitos vantagens problema na dinâmica: conhecimento dos nomes solução comum Programação concorrente (C. Geyer) Troca de Mensagens 63

64 Revisão Revisão produtor - consumidor com TM exclusão mútua canal buffer cheio buffer vazio caixa postal conceito diferenças entre do programa e do sistema problema de referência entre criador e usuários solução comum? Programação concorrente (C. Geyer) Troca de Mensagens 64

65 Revisão Revisão comunicação síncrona send receive vantagem? comunicação assíncrona (bloqueante) comunicação (assíncrona) não bloqueante qual o risco? como transformar a assíncrona em síncrona? Programação concorrente (C. Geyer) Troca de Mensagens 65

66 Revisão Revisão buffer de tamanho zero efeitos vantagem buffer limitado alternativas de semânticas tratamento de erros se processo (máquina) receptor falha? se processo emissor falha? se buffer esgota? Programação concorrente (C. Geyer) Troca de Mensagens 66

67 Revisão Revisão garantias ordenação outras? Programação concorrente (C. Geyer) Troca de Mensagens 67

68 Revisão Revisão tipos de dados da mensagem? TM X VC? eficiência redes memória compartilhada simplicidade das APIs programação segura algoritmos mais simples e intuitivos Programação concorrente (C. Geyer) Troca de Mensagens 68

69 This document was created with Win2PDF available at The unregistered version of Win2PDF is for evaluation or non-commercial use only. This page will not be added after purchasing Win2PDF.