Algoritmos Paralelos. Pós Graduação em Computação IC Instituto de Computação. Prof a : Cristina Boeres

Transcrição

1 Algoritmos Paralelos Prof a : Cristina Boeres página do curso: Pós Graduação em Computação IC Instituto de Computação

2 Programa do Curso Introdução Histórico e classes Definições e conceitos a serem utilizados Medidas de desempenho Modelos de Programação Paralela e Algoritmos histórico e motivação para modelagem o modelo PRAM e suas classes complexidade de algoritmos paralelos técnicas básicas Avaliação de Desempenho e Escalonamento de Aplicações Modelos de Comunicação Proposta de Classificação de Heurística de Escalonamento Heurísticas de escalonamento de construção

3 Bibliografia J. Jájá, Introduction to Parallel Algorithms, Addison-Wesley, Ian Foster, Designing and Building Parallel Programs, Addison-Wesley, ( online ).1995 J. Dongarra et. al., Sourcebook of Parallel Computing, Morgan Kaufmann, T. G. Robertazzi, Networks and Grids - technology and theory, Springer, H. Casanova, A. Legrand and Y. Robert, Parallel Algorithms, CRC Press, S. Akl, Parallel Computation Models and Methods, Prentice Hall A. Grama, A. Gupta, G. Karypis, and V. Kumar Introduction to Parallel Computing, 2nd edition, Addison-Wesley, Artigos a serem definidos

4 Introdução e Conceitos Básicos Por que computação paralela e distribuída Computação de Alto Desempenho Arquitetura de computadores Ambientes de programação paralela Modelos de programação paralela

5 Por que computação paralela e distribuída? Sistemas de computadores seqüenciais cada vez mais velozes velocidade de processador memória comunicação com o mundo externo Quanto mais se tem, mais se quer... Demanda computacional está aumentando cada vez mais: visualização, base de dados distribuída, simulações, etc. limites em processamento seqüencial velocidade da luz, termodinâmica custo X benefício

6 Por que computação paralela e distribuída? que tal utilizar vários processadores? dificuldades encontradas mas como? paralelizar uma solução? Existem vários desafios em Computação Paralela e Distribuída

7 Computação de Alto Desempenho Os grandes desafios (Levin 1989): química quântica, mecânica estatística e física relativista; cosmologia e astrofísica; dinâmica e turbulência computacional dos fluídos; projeto de materiais e supercondutividade; biologia, farmacologia, seqüência de genomas, engenharia genética, dobramento de proteínas, atividade enzimática e modelagem de células; medicina, modelagem de órgãos e ossos humanos; clima global e modelagem do ambiente

8 Demanda para velocidade computacional Existem várias áreas que demandam processamento computacional mais veloz: modelagem numérica simulação de problemas científicos Computação deve ser finalizada em um tempo razoável 1a.8

9 Grand Challenge São problemas que não podem ser resolvidos em uma quantidade de tempo razoável nos computadores atuais para resolver o problema computacionalmente, 10 anos seriam razoáveis? Modelagem de estruturas longas de DNA previsão de tempo global simulação e modelagem do movimento de corpos celestes (astronomia) 1a.9

10 Movimento de Corpos Celestes Cada corpo é atra[ido pelo outro atrav[es de forças gravitacionais O movimento de cada corpo é previsto através do cálculo da força total de cada corpo 1a.10

11 Movimento de Corpos Celestes Existindo N corpos N 1 cálculo de força para cada corpo ou aproximadamente N 2 cálculos, i.e. O(N 2 ) * Depois deste cálculo, determinar as novas posições dos corpos, repetindo esse procedimento N 2 T cálculos no total, sendo T o número de passos * Existe um algoritmo O(N log 2 N) 1a.11

12 Movimento de Corpos Celestes A galáxia deve ter em torno de estrelas Se cada cálculo da força leva em torno de 1 ms (sendo extremamente otimista), então, são necessários: 10 9 anos para uma iteração utilizando um algoritmo N 2 1a.12

13 Astrophysical N-body simulation by Scott Linssen (undergraduate UNC-Charlotte student). 1a.13

14 Number of hosts ( millions ) Evolução nas comunicações TCP/IP HTML Mosaic XML The'NetworkEffect kicks in, and the web goes critical' PHASE 1. Packet Switching Networks 2. The Internet is Born 3. The World Wide Web 4. with XML 5. The Grid 1969: 4 US Universities linked to form ARPANET TCP/IP becomes core protocol HTML hypertext system created 1972: First program created Domain Name System created CERN launch World Wide Web 1976: Robert Metcalfe develops Ethernet IETF created ( 1986 ) NCSA launch Mosaic interface cortesia de Rajkumar Buyya

15 Definindo melhor alguns conceitos Concorrência termo mais geral, um programa pode ser constituído por mais de um thread/processo concorrendo por recursos Paralelismo uma aplicação é executada por um conjunto de processadores em um ambiente ( dedicado ) único Computação distribuída aplicações sendo executadas em plataformas distribuídas

16 Definindo melhor alguns conceitos Qualquer que seja o conceito, o que queremos? estabelecer a solução do problema lidar com recursos independentes aumentar desempenho e capacidade de memória fazer com que usuários e computadores trabalhem em espírito de colaboração

17 Definindo melhor alguns conceitos Melhor Desempenho Suponha que seja necessário computar a série abaixo para cada número complexo c Z 0 = 0 Z n+1 = Z n 2 + c Se a série convergir, um ponto preto é desenhado em c Poderíamos utilizar 4 processadores, cada um processando um quadrante de imagem Seria 4 vezes mais rápido?

18 O que paralelizar? Pode estar em diferentes níveis de sistemas computacionais atuais Hardware Sistema Operacional Aplicação As principais questões que são focadas são Desempenho Corretude Possibilidade de explorar o paralelismo

19 Por que paralelizar? Aplicação Paralela várias tarefas vários processadores redução no tempo total de execução

20 Modelos de Programação Paralela Criação e gerenciamento de processos estático ou dinâmico Comunicação memória compartilhada: visão de um único espaço de endereçamento global memória distribuída: troca explícita de mensagens

21 Modelos de Programação Paralela Expressão de Paralelismo: Paradigmas SPMD ( Single Program Multiple Data ) MPMD (Multiple Program Multiple Data ) Metas aumento no desempenho maior eficiência

22 Objetivos Visão geral arquitetura de computadores ambientes de programação paralela modelos de programação paralela Motivar Sistemas de Alto Desempenho

23 Arquitetura de Computadores Classificação de Computadores Computadores Convencionais Memória Centralizada Memória Distribuída

24 Plataforma de Execução Paralela Conectividade rede de interconexão Heterogeneidade hardware e software distintos Compartilhamento utilização de recursos Imagem do sistema como usuário o percebe Escalabilidade + nós > desempenho/eficiência

25 Topologias barramento Linha Estrela Árvore Anel Totalmente Conectada Hipercubo Malha

26 Classificação de Sistemas Paralelos Proposta por Flynn quantidade de instruções e dados processados em um determinado momento ( data SISD (single instruction single Um contador de programa Computadores seqüenciais ( data SIMD (single instruction multiple Um contador de programa, uma instrução executada por diversos processadores sobre diferentes dados Computadores paralelos como PRAM

27 Classificação de Sistemas Paralelos Proposta por Flynn ( data MISD (multiple instructions single Não aplicável ( data MIMD (multiple instructions multiple Vários contadores de programa Diferentes dados Os vários computadores paralelos e distribuídos atuais

28 Plataforma de Execução Paralela Diferentes plataformas do MIMD de acordo com os seguintes critérios espaço de endereçamento mecanismo de comunicação

29 Plataforma de Execução Paralela ( MultiProcessors SMPs (Symmetric ( Processors MPPs (Massively Parallel ( Worstations Cluster ou NOWs (Network Of Grades Computacionais Nuvens

30 SMPs SMPs ou Multiprocessadores único espaço de endereçamento lógico ( compartilhada mecanismo de hardware (memória comunicação espaço de endereçamento compartilhado operações de loads e stores Acesso a memória é realizada através de leitura (load) e escrita (store), caracterizando desta forma, a comunicação entre processadores

31 SMPs Sistema homogêneo Compartilhamento Compartilhamento total da mesma memória Uma única cópia do Sistema Operacional Imagem única do sistema Excelente conectividade fortemente acoplados Não escalável Exemplos: Sun HPC (StarFire), SGI Altix, SGI Origin, IBM pseries atualmente: multiprocessadores multicores heterogeneidade

32 SMPs Multiprocessadores CPU Memória CPU... CPU

33

34 ( Multicomputadores ) MPPs Diferem quanto a implementação física Módulos ou elementos de processamento contendo: múltiplos processadores com memória privativa computadores completos Espaço de endereçamento não compartilhado - memória distribuída Comunicação troca de mensagens Rede de interconexão diferentes topologias Fracamente acoplados Escaláveis

35 MPPs Sistema homogêneo ( ou heterogêneo ) Interconexão: redes dedicadas e rápidas Cada nó executa sua própria cópia do Sistema Operacional Imagem única do sistema visibilidade dos mesmos sistemas de arquivo Um escalonador de tarefas partições diferentes para aplicações diferentes

36 MPPs Partições dedicadas a cada aplicação Aplicações não compartilham recursos Pode ocorrer que uma aplicação permaneça em estado de espera Exemplos: Cray T3E, IBM SP2s, clusters montados pelo próprio usuário, com propósito de ser um MPP

37 MPPs Multicomputadores Escalonador CPU CPU CPU... Mem. Mem. Mem. requisições

38 Cluster de computadores ou NOWs Conjunto de estações de trabalho ou PCs Interconexão: redes locais Nós: elementos de processamento = processador + memória Diferenças em relação a MPPs: não existe um escalonador centralizado redes de interconexão tendem a ser mais lentas

39 Cluster de computadores ou NOWs Resultado das diferenças: Cada nó tem seu próprio escalonador local Compartilhamento de recursos sem partição dedicada a uma aplicação Aplicação deve considerar impacto no desempenho não tem o sistema dedicado Possibilidade de compor um sistema de alto desempenho e um baixo custo (principalmente quando comparados com MPPs).

40 Cluster ou NOWs requisições requisições requisições CPU CPU CPU... Mem. Mem. Mem.

41 Máquinas atuais Olhando melhor as máquinas modernas...

42 Real computer system have cache memory between the main memory and processors. Level 1 (L1) cache and Level 2 (L2) cache. Example Quad Shared Memory Multiprocessor Processor Processor Processor Processor L1 cache L1 cache L1 cache L1 cache L2 Cache L2 Cache L2 Cache L2 Cache Bus interface Bus interface Bus interface Bus interface Processor/ memory b us Memory controller Shared memory Memory

43 Recent innovation (since 2005) Dual-core and multi-core processors Two or more independent processors in one package Actually an old idea but not put into wide practice until recently with the limits of making single processors faster principally caused by: Power dissipation (power wall) and clock frequency limitations Limits in parallelism within a single instruction stream Memory speed limitations

44 Power dissipation Clock frequency inconcurrencytowardturnfundamentala: OverIsLunchFreeThe Software Herb Sutter,

45 Single quad core shared memory Chip multiprocessor Processor Processor Processor Processor L1 cache L1 cache L1 cache L1 cache L2 Cache Memory controller Shared memory Memory

46 Multiple quad-core multiprocessors (example coit-grid05.uncc.edu) Processor Processor Processor Processor Processor Processor Processor Processor L1 cache L1 cache L1 cache L1 cache L1 cache L1 cache L1 cache L1 cache L2 Cache possible L3 cache Memory controller Shared memory Memory

47 Message-Passing Multicomputer

48 Processor Message-Passing Multicomputer Complete computers connected through an interconnection network: Messages Interconnection network Many interconnection networks explored in the 1970s and 1980s including 2- and 3- dimensional meshes, hypercubes, and multistage interconnection networks Local memory Computers

49 Networked Computers as a Computing Platform A network of computers became a very attractive alternative to expensive supercomputers and parallel computer systems for high-performance computing in early 1990s. Several early projects. Notable: Berkeley NOW (network of workstations) project. NASA Beowulf project.

50 Key advantages: Very high performance workstations and PCs readily available at low cost. The latest processors can easily be incorporated into the system as they become available. Existing software can be used or modified.

51 Beowulf Clusters* commodity interconnectedofgroupa computers achieving high performance with low cost. Typically using commodity interconnects - high speed Ethernet, and Linux OS. * Beowulf comes from name given by NASA Goddard Space Flight Center cluster project.

52 Cluster Interconnects Originally fast Ethernet on low cost clusters Gigabit Ethernet - easy upgrade path More specialized/higher performance interconnects available including Myrinet and Infiniband.

53 Dedicated cluster with a master node and compute nodes User Computers Dedicated Cluster Master node Ethernet interface External network Switch Local network Compute nodes 1b.53

54 GPU clusters Recent trend for clusters incorporating GPUs for high performance. At least three of the five fastest computers in the world are GPU clusters

55 Top500 description Na lista TOP500 ordenação e de acordo com: 1) Rmax 2) Rpeak 3) tamanho de memória 4) alfabética Campos da lista: Rank- Position within the TOP500 ranking Location - Location and country System name, configuration and manufacturer #Proc. - Number of processors (Cores) Rmax - Maximal LINPACK performance achieved Rpeak - Theoretical peak performance Power - energy

56 ( Grids Grades Computacionais (Computational Utilização de computadores independentes geograficamente distantes Diferenças: clusters X grades heterogeneidade de recursos ( mundial alta dispersão geográfica (escala compartilhamento múltiplos domínios administrativos controle totalmente distribuído

57 Grades Computacionais Componentes PCs, SMPs, MPPs, clusters controlados por diferentes entidades diversos domínios administrativos Não têm uma imagem única do sistema a princípio Vários projetos tem proposto o desenvolvimento de middlewares de gerenciamento camada entre a infra-estrutura e as aplicações a serem executadas na grade computacional Aplicação deve estar preparada para: Dinamismo Variedade de plataformas Tolerar falhas

58 Grades Computacionais Sistema não dedicado e diferentes plataformas Usuários da grades devem obter autorização e certificação para acesso aos recursos disponíveis na grade computacional Falhas nos recursos tanto de processamento como comunicação são mais freqüentes que as outras plataformas paralelas Mecanismos de tolerância a falhas devem tornar essas flutuações do ambiente transparente ao usuário Para utilização eficiente da grade computacional Gerenciamento da execução da aplicação através de políticas de escalonamento da aplicação ou balanceamento de carga Escalonamento durante a execução da aplicação se faz necessário devido as variações de carga dos recursos da grade

59 Grades Computacionais usuário usuário usuário Escalonador de Aplicação Escalonador de Aplicação Escalonador de Recursos Escalonador de Recursos Escalonador de Recursos SMP MPP SMP Cluster

60 Grades Computacionais Cluster Workstation MPP Internet Computador convencional Workstation SMP Servidor SMP MPP

61 Computação em Cluster Um conjunto de computadores (PCs) não necessariamente iguais heterogeneidade Filosofia de imagem única Conectadas por uma rede local Para atingir tais objetivos, necessidade de uma camada de software ou middleware

62 Computação em Grid Computação em Cluster foi estendido para computação ao longo dos sites distribuídos geograficamente conectados por redes metropolitanas Heterogêneos Compartilhados Aspectos que devem ser tratados Segurança Falhas de recursos Grid Computing Gerenciamento da execução de várias aplicações

63 Computação em Grid ( Vision O sonho do cientista (The Grid Computação em Grid adota tanto o nome quanto o conceito semelhantes aqueles da Rede de Potência Elétrica para capturar a noção ou a visão de: Oferecer desempenho computacional eficientemente; De acordo com a demanda; A um custo razoável; Para qualquer um que precisar. O sucesso da computação em grid depende da comunidade de pesquisadores ( software A possibilidade de construir tal ambiente (hardware e Necessidade de atingir seus objetivos.

64 Computação em Grid

65 Search for Extraterrestrial Intelligence at Home

66 Search for Extraterrestrial Intelligence at Home is a scientific experiment that uses Internet-connected computers in the Search for Extraterrestrial Intelligence (SETI). (from setiathome.berkeley.edu/) A abordagem: radio telescopes para ouvir sinais do espaço tais sinais podem ser ruídos de origem celeste ou provenientes da terra (estações de TV, radares e satélites) SETI analisa esse ruídos e digitalmente Maior poder computacional possibilita cobrir uma procura maior de ruídos Primeiramente supercomputadores especiais foram utilizados Em 1995 (iniciado na verdade em 1999), David Gedye propos o uso de um supercomputador virtual

67 Computação em Grid Grid middlewares: tem como objetivo facilitar a utilização de um ambiente grid APIs para isolar usuários ou programas da complexidade deste ambiente Gerenciar esses sistemas automaticamente e eficientemente para executar ( applications aplicações no ambiente grid (grid-enabled E as aplicações não habilitadas a execução em ambiente grids?

68 Computação em Grid Como o usuário (dono da aplicação) escolhe? Vários middlewares existem, qual o mais apropriado? Vários estão ainda sendo desenvolvidos Não há a garantia de suporte Pouca comparação entre os middlewares, por exemplo, desempenho, grau de intrusão. É difícil encontrar grids com o mesmo tipo de software instalado

69 Cloud Computing Computação provida como um serviço sobre a internet Infra-estrutura geograficamente distribuída Com algumas características de autonomic computing Que características são essas? O middleware não está embutido na aplicação Exemplos Googleaps, facebook, amazon Ex. de aplicação gerenciamento de documentos distribuídos geograficamente

70 Cloud Computing Modelo econômico de utilização dos serviços Ambiente que prove uma quantidade maior de serviços a baixo custo Baixo consumo de energia Não acontece sem Virtualização

71 Diferenças entre Grid e Cloud Computing AlHakami, H. et al, Comparison Between Cloud and Grid Computing: Review Paper, in International Journal on Cloud Computing: Services and Architecture (IJCCSA),Vol.2, No.4, August 2012 Recursos os recursos na grade estão disponíveis e compartilhados na nuvem, os recursos são providos de acordo com a demanda Heterogeneidade de recursos os dois agregam recursos heterogêneos Segurança segurança do usuário não foi atacado em grades (mais segurança de acesso) no caso de nuvem, cada usuário tem seu ambiente virtual e seguro Gerenciamento maior experiência no caso de grades muito a fazer em nuvem

72 Features Grid Cloud Resource Sharing Collaboration (VOs, fair share) not shared. Virtualization Security Virtualization of data and computing resources Security through credential delegations Virtualization of hardware and software platforms. Security through isolation. High Level Services Plenty of high level services. No high level services defined yet. Architecture Service orientated User chosen architecture. Software Dependencies Platform Awareness Application domain dependent software The client software must be Gridenabled Application domain independent software The software works on a customized environment Scalability Nodes and sites scalability Nodes, sites, and hardware scalability Standardization User Access Standardization and interoperability Lack of standards for Clouds interoperability. Access transparency for the end user. Payment Model Rigid Flexible Access transparency for the end user.