Parte da Tarefa. Parte da Tarefa. Parte da Tarefa SEND RECEIVE SEND RECEIVE

Transcrição

1 Produto Escalar com MPI-2 (C++) Aula Sistemas Distribuídos Prof. Dr. Marcelo Facio Palin 1 1

2 O que é Paralelismo? Conceitos Paralelismo é uma técnica usada em tarefas grandes e complexas para obter resultados mais rápidos, dividindo-as em tarefas pequenas que serão distribuídas em vários processadores para serem executadas simultaneamente. Parte da Tarefa Parte da Tarefa P0 P1 SEND RECEIVE Problema GRANDE SEND RECEIVE Parte da Tarefa Pn 2 2

3 O que é Paralelismo? Conceitos Paralelismo é uma técnica usada em tarefas grandes e complexas para obter resultados mais rápidos, dividindo-as em tarefas pequenas que serão distribuídas em vários processadores para serem executadas simultaneamente. Parte da Tarefa Parte da Tarefa P0 P1 SEND RECEIVE Problema GRANDE SEND RECEIVE Parte da Tarefa Pn 3 3

4 Dados os VETORES: Vetores de mesma Dimensão (n) Produto Escalar Como é o cálculo Produto Escalar? v u R [ v1, v2, v3,, vn ] [ u u u u ],,,, n p n = i i= 1 SEQUENCIAL P v u i M Exemplo: v u [ 1.0, 2.0,3.0, 4.0] [ 4.0,3.0, 2.0,1.0] p = v1u 1 + v2u2 + v3u3 + v4u4 = = Matrizes Densas 4 4

5 Dados os VETORES: Vetores de mesma Dimensão (n) Exemplo: Produto Escalar Como é o cálculo Produto Escalar? v u v u [ 1.0, 2.0,3.0, 4.0] [ 4.0,3.0, 2.0,1.0] R [ v1, v2, v3,, vn ] [ u u u u ],,,, n p p = n = i i= 1 n = i i= 1 v u v u i i Matrizes Densas 5 5

6 Multicomputadores = Cluster P = PROCESSADOR Conceitos PC M = MEMÓRIA = REDE P M Memória Distribuída Única Interface com o Usuário Nó Mestre Cluster BEOWULF Dados (Possui disco local) S.O. Linux + MPI P M P M P M Fluxo de Dados (Troca de Mensagens) Switch Nós Escravos Diskless Sem Disco 6 6

7 Exemplo de Multicomputadores: Cluster Única Interface com o Usuário Nó Mestre Cluster BEOWULF Dados (Possui disco local) S.O. Linux + MPI Fluxo de Dados (Troca de Mensagens) Switch Nós Escravos Diskless Sem Disco 7 7

8 Comunicação Global de Envio MPI_BCast MPI-2 Função Global de Envio MPI_BCast Nó 1 MPI_BCast Nós Escravos Dados Enviados para Todos os Nós Escravos Nó N 8 8

9 Resumo Em resumo, multicomputadores são possíveis de se construir mas difíceis de programar, sendo os multiprocessadores o oposto, difíceis de construir mas simples de programar

10 Ou seja... MPI-2 Vamos aprender... COMPUTAÇÃO PARALELA Única Interface com o Usuário Nó Mestre Cluster BEOWULF EM Dados (Possui disco local) S.O. Linux + MPI Fluxo de Dados (Troca de Mensagens) Switch Nós Escravos AMBIENTE DISTRIBUÍDO Para isso precisamos de...? Diskless Sem Disco

11 Programando com MPI-2 Em MULTICOMPUTADORES MPI-2 MESSAGE PASSING INTERFACE + difíceis de programar ALGORITMOS PARALELOS MPI-2 PARALELISMO

12 MPI-2 Troca de Mensagens SEND RECEIVE MPI é um conjunto de rotinas padronizadas que permitem aos programas paralelos rodem em arquiteturas de memória distribuída

13 Razões para utilizar o MPI Troca de Mensagens SEND Portabilidade Funcionalidade Disponibilidade RECEIVE Utilizamos a implementação MPICH

14 O que é o MPICH2? Troca de Mensagens Implementação do MPI

15 Comunicação Ponto-a-Ponto MPI-2 P0 P1 buffer RECEIVE SEND buffer

16 Sintaxe dos Métodos Send() e Recv() MPI_Send(buf, count, datatype, dest, tag, comm) Função responsável pelo envio de mensagens. IN buf: endereço do buffer de envio IN count: número de elementos a enviar IN datatype: tipo dos elementos a serem enviados IN dest: identificador do processo destino IN tag: tag (marca) da mensagem IN comm: communicator (handle) Troca de Mensagens MPI_Recv(buf, conunt, datatype, source, tag, comm, status) Função responsável pelo recebimento de mensagens. OUT buf: endereço do buffer de recebimento IN count: número de elementos a serem recebidos IN datatype: tipo dos elementos a serem recebidos IN source: identificador do processo remetente IN tag: tag (marca) da mensagem IN comm: communicator (handle) OUY status: status de operação

17 Comunicação Coletiva (MPI_Bcast) Nó 0 MPI-2 Mestre Dados MPI_BCast Nó 1 Nó 2 Nó Nó N

18 6 Funções Básicas do MPI MPI-2 Funções MPI_INIT() MPI_COMM_SIZE() MPI_COMM_RANK() MPI_SEND() MPI_RECV() MPI_FINALIZE() Descrição Inicia a execução do MPI Número de Processadores ID (identidade) do Processador Envia Mensagens Recebe Mensagens Termina a execução do MPI buffer buffer

19 Sintaxe Básico do Programa MPI em C MPI-2 MPI_Init(&argc, &argv) Inicializa uma execução do MPI. Copia o código do programa em todos os processadores que participam do Cluster. Nenhuma outra função MPI pode aparecer antes de MPI_Init(), isso causaria ERROS de compilação. MPI_Finalize() Termina uma execução MPI. Nenhuma outra função MPI pode aparecer depois de MPI_Finalize. #include <stdio.h> #include "mpi.h" int main(int argc, char* argv) { MPI_Init(&argc, &argv); MPI_Finalize(); return 0; }

20 Sintaxe Básico do Programa MPI em C++ MPI::MPI_Init() MPI::MPI_Finalize() OBS: devemos linkar com a biblioteca cxx.lib e mpi.lib Devemos compilar o código em C++ #include <iostream> #include <mpi.h> using namespace std; int main(int argc, char *argv[]) { MPI::Init(); MPI::Finalize(); return 0; } MPI

21 Sintaxe C++ das outras funções em MPI-2 MPI::MPI_Init() MPI::MPI_Finalize() // Recebe o ID do Processador int myrank = MPI::COMM_WORLD.Get_rank(); // Recebe o Numero de Processadores do Cluster int numprocs = MPI::COMM_WORLD.Get_size(); MPI

22 Sintaxe em C++ do MPI MPI-2 No envio e recepção de mensagens é necessário especificar o tipo de dados da mensagem (MPI::INT, MPI::DOUBLE, etc) cada mensagem inclui uma etiqueta que permite distinguir as mensagens de uma mesma fonte Envio: MPI::comm.Send(buf, count, datatype, dest, tag) Retorna assim que a mensagem foi colocada no buffer do receptor Recepção: MPI::comm.Recv(buf, count, datatype, src, tag)

23 Exemplo de Código MPI-2 em C++ #include mpi.h #include <iostream> using namespace std; int main( int argc, char *argv[]) { int rank, buf; MPI::Init(argv, argc); rank = MPI::COMM_WORLD.Get_rank(); // Process 0 sends and Process 1 receives if (rank == 0) { buf = ; MPI::COMM_WORLD.Send( &buf, 1, MPI::INT, 1, 0 ); } else if (rank == 1) { MPI::COMM_WORLD.Recv( &buf, 1, MPI::INT, 0, 0 ); std::cout << Recebido << buf << endl; } MPI::Finalize(); return 0; }

24 Exemplo: Comunicação Ponto-a-Ponto Comunicação P1 P RECEIVE 1 SEND 5 UPDATE Partes IGUAIS

25 Comunicação Coletiva Scatter (Espalhar) MPI-2 Scatter - Espalhar Nó 1 Parte dos Dados MPI_Scatter() Parte dos Dados Parte dos Dados Dados quebrados em Blocos Nó N Nós Escravos Parte dos Dados