The Excitement in Parallel Computing

Transcrição

1 The Excitement in Parallel Computing MAC Organização de Computadores Alberto Ueda, Bruno Ozahata, Camila Matsubara, Gabriel Pugliese, João Paulo Mota, Leonardo Marchetti, Mina Cintho e Pĺınio Esmerio Universidade de São Paulo 5 de dezembro de 2008

2 Laxmikant (Sanjay) Kale Apresentação Original The Excitement in Parallel Computing. de Programação Paralela

3 O que é um modelo? O que é um modelo? Um modelo de computação paralela é uma interface que separa propriedades de alto-nível das de baixo-nível

4 O que é um modelo? Um bom modelo de computação paralela deve ter as seguintes propriedades: Fácil de programar Esconder os passos da paralelização do programador: Decomposição de um programa em threads paralelas Mapeamento de threads para os processadores Comunicação entre threads Sincronização entre threads Metodologia de desenvolvimento de software Arquitetura independente Fácil de entender Performance garantida Medição de custos

5 Divisão dos Abstração total do paralelismo: simples Desenvolvedor não sabe como o paralelismo é feito Paralelismo expĺıcito e decomposição impĺıcita: Desenvolvedor sabe que existe paralelismo mas não sua amplitude Não manipula a comunicação, mapeamento e sincronismo Paralelismo e decomposição expĺıcitos: Mapeamento, comunicação e sincronismo impĺıcitos Desenvolvedor decide a quebra dos trabalhos Possui maior responsabilidade

6 Divisão dos Paralelismo, decomposição e mapeamento expĺıcitos: Comunicação e sincronismo impĺıcitos Localidade faz efeito no desempenho da comunicação; Software fica mais difícil de ser portado para outras arquiteturas Paralelismo, decomposição, mapeamento e comunicação expĺıcitos: Sincronismo impĺıcito decisões são feitas pelo sistema Tudo impĺıcito Todos os detalhes na mão do desenvolvedor Desempenho e código bem estruturado depende da atenção do desenvolvedor

7 Estrutura Dinâmica Programação funcional de ordem superior Haskell Reescrita concorrente OBJ, Maude Interleaving UNITY Linguagens de lógica impĺıcita E/OU, REDUÇÃO/OU, OPERA, PALM Programação lógica restrita cc, CHIP CLP e CLP

8 Estrutura Estática Skeletons Skeletons Algorítmicos The Pisa Parallel Programming Language. Programação funcional de ordem superior

9 Estrutura Estática com Comunicação Restrita Skeleton homomórfico Linguagens de processamento celular Cellang, CARPED, CDL, CEPROL Crystal

10 Conceito Esta é a segunda maior classe de paralelismo. Os desenvolvedores não necessitam manipular os pedaços do programa e nem como esses pedaços são colocados nos processadores e tão pouco como se comunicam entre si.

11 Estrutura Dinâmica Estrutura Dinâmica: Programação com operações em Dataflow Cálculos e computações são realizados à medida que os valores fluem Comunicação assíncrona Exemplos: PARLOG, MultiLisp

12 Estrutura Estática Estrutura Estática: Manipulação com vetores ou listas Linguagens com este modelo simplificam o paralelismo com simples operações Exemplos: Fortran D, HPF (High Perfomance Fortran), Linguagens com ForAll Loops

13 Estrutura Estática com Comunicação Limitada Estrutura Estática com Comunicação Limitada: Maior atenção nas comunicações Menor tamanho dos dados entre comunicações Maior cuidado com os cálculos, laços e funções Exemplos: C* (extensão de C)

14 Especificar os segmentos em que o programa será dividido Mapeamento não tem relevância para a performance BSP: Bulk Synchronous Paralelism LogP

15 BSP Máquina abstrata de BSP Programa dividido em supersteps Estimar o tempo total t = w + hg + l, onde g e l são parâmetros da rede

16 LogP Não tem barreira de sincronização Comunicação feita por mensagens assíncronas Avaliação do modelo em CM-5: não é mais poderoso que BSP

17 Características Linguagens Funcionais com Anotação Paralf

18 Linguagens de Coordenação Linda Espaço de Tuplas Linguagens de Coordenação com Contexto Ease

19 Esqueletos de Comunicação

20 Modelo Actor Modelo Actor Mantém uma coleção de objetos Fila de mensagens Mensagens são assíncronas e desordenadas Tem um ponto fraco: ActorSpace

21 Orientação a Objetos Externa Objetos funcionam como um mecanismo de comunicação Interna Encapsula o paralelismo dentro dos métodos do objeto (paralelismo de dados)

22 Mentat Integra modelo de computação dirigida a dados com paradigma OO Programas correspondem a grafos dirigidos As arestas modelam dependência de dados entre elementos que executam funções O compilador analisa as dependências A = vect op.add(b, C); M = vect op.add(a, vect op.add(d, E));

23 Expĺıcito Detalhes de decomposição e comunicação A maioria da primeira geração Arquitetura específica

24 derivados paradigmas específicos para particionamento, mapeamento e comunicação gerais Múltiplos paradigmas: Orca SR (Synchronizing Resources)

25 Orca Baseada em objetos Objetos-dados comunicação Variáveis de tipos de dados abstratos Compartilhamento de dados

26 Orca Conjunto de abstrações hierárquico Nível mais baixo transmissão confiável Próximo nível dados encapsulados em objetos replicados Processo pai processos filhos

27 Synchronizing Resources Baseada em recurso Recurso Módulo Módulo muitos processos

28 Synchronizing Resources Paradigmas de comunicação: Variáveis compartilhadas por processos Mensagens assíncronas Rendevouz Multicast

29 Message Passing C ou FORTRAN Estigmatizados como baixo-nível Comunicação e sincronização entre processos Particionamento e distribuição de dados Mapeamento dos processos nos processadores Entrada/Saída das estruturas de dados

30 Memória Compartilhada Memória compartilhada Sistemas Operacionais Multiprogramação Multiprocessamento

31 Memória Compartilhada Computadores paralelos com memória compartilhada Variáveis compartilhadas e semáforos

32 Java Características Compartilhamento de memória Baseada em threads que se comunicam e sincronizam Abstrata Portabilidade Extensão

33 Java Single Virtual Machine Single virtual machine (Single-VM) única MV Única aplicação Várias threads processadores

34 Java Multiple Virtual Machine Multiple virtual machine (Multi-VM) múltiplos MV s Aplicações diferentes VM único processador ou processadores diferentes Aplicações multi-threads se comunicando

35 Java Single-VM Hardware single system image Único espaço de armazenamento Modelo de threads de Java Centenas de Processadores (Difícil)

36 Java Multi-VM Mapear VM s endereçamentos separados Application Programming Interfaces (APIs) a comunicação entre as threads Espaço de endereçamento um múltiplo processador multithread

37 Rendevouz Características Conjunto de protocolos Manter sincronização de estado de compartilhamento Ambientes de tempo real Ada e Concurrent C

38 Rendevouz Rendevouz: Ada Departamento de Defesa dos EUA Baseado em tasks (processos) Locais especificados por entradas Entrada chamada de procedimento

39 Rendevouz Rendevouz: Ada Não está disponível (suspenso) Fila organiza as esperas Tasks não trocam parâmetros e executam regiões críticas Semáforos reduz primitivas exclusão mútua e sincronização de tasks

40 Estrutura Estática Occam: criação não dinâmica de processos e comunicação Estrutura do processo é fixada Comunicação canais síncronos Construtores paralelos, inclusive não determinísticos Por ser tão baixo-nível aplicações crítica ou pequenas

41 Modelo PRAM PRAM Parallel Random Access Machine Fundamentalmente teórico Um dos modelos mais conhecidos e amplamente estudado Serve de base para outros modelos: APRAM - Asynchronous Parallel Random Acess Machine LPRAM - Local-Memory Parallel Random Acess Machine

42 Modelo PRAM Organização Formado basicamente por: Conjunto de processadores Memória compartilhada Conjunto de processadores trabalhando de forma sincronizada Protocolo de controle para o acesso à memória compartilhada EREW Exclusive Read, Exclusive Write CREW Concurrent Read, Exclusive Write CRCW Concurrent Read, Concurrent Write

43 Modelo PRAM Por que teórico? Conjecturas feitas pelo modelo: Há um número ilimitado de processadores Há uma quantidade ilimitada de memória O custo de acesso a memória é sempre uniforme Custo de sincronização dos processadores também uniforme Obviamente em uma implementação real de uma arquitetura esses requisitos NÃO podem ser atendidos. Porém, existe uma implementação de uma variação do PRAM, SB-PRAM, que não segue estas conjecturas.

44 Modelo PRAM Vantagens do Modelo Permite alto nível de abstração; Menor preocupação com detalhes de arquitetura (baixo-nível) que implica em: Maior enfoque no desenvolvimento do software em si Maior enfoque na elaboração de algoritmos eficientes MAIOR PRODUTIVIDADE!

45 Modelo PRAM Linguagens baseadas neste modelo Duas linguagens principais: Fork chrke/fork95.html XMTC - Ambas são derivadas da linguagem ANSI C. Veremos Fork95 mais de perto...

46 Modelo PRAM Fork95 Desenvolvida para a arquitetura SB-PRAM implementação real em hardware do modelo PRAM Estende ANSI C: herda todas sua funcionalidades e acrescenta rotinas de paralelismo Disponível apenas para estações de trabalho SUN Introduz o conceito de grupos de processadores

47 Visão Geral e Critérios Visão Geral Critérios Fácil de programar Corretude Independência de arquiteturas Simplicidade Execução em máquinas paralelas Garantia de performance e custos

48 Resumo Maior abstração Satisfaz desenvolvimento do software Nenhuma previsão de performance Mais concretos Prever a performance Construção do software complicada

49 Tendências Baixo-nível diminuição Concentração em nível de abstração intermediário mas com expressividade Alguns modelos abstratos perfomance previsível e útil esperança de construção de modelos

50 Tendências De baixo-nível para mais abstratas Simplificam a tarefa dos programadores e designers Softwares paralelos mais robustos com perfomance previsível

51 Perspectivas para o Futuro Comunicação e Memória Redes de Computadores E/S Assíncronos