29/3/16. Informações gerais. Carga horária semestral total: 60 horas Horário: Processamento Paralelo Arquitetura de Sistemas Paralelos e Distribuídos

Transcrição

1 Processamento Paralelo Arquitetura de Sistemas Paralelos e Distribuídos Prof. João Paulo A. Almeida (jpalmeida@inf.ufes.br) 2016/01 Informações gerais Página web: Carga horária semestral total: 60 horas Horário: terças 13:00-15:00 sextas 16:00-18:00 Local, atenção: CT-9 sala 207 (terças) CT-9 sala 204 (sextas) Avaliação Duas provas parciais e trabalhos A média parcial (MP) é calculada por: MP = 0,6*P + 0,4*T onde: P é a média aritmética das provas parciais e T é a média aritmética das notas dos trabalhos. A média final (MF) será: MF = MP, se MP 7,0 (e houver presença) MF = (PF + MP)/2, se MP < 7,0 (PF é a nota da prova final) Se MF 5,0 -> Aprovado Se MF < 5,0 -> Reprovado Material didático COULOURIS, George F.; DOLLIMORE, Jean; KINDBERG, Tim. Sistemas distribuídos: conceitos e projeto. 4. ed. Porto Alegre: Bookman, Distributed Systems: Concepts and Design, 4. ed. Addison Wesley, Existe uma 5ª edição em inglês Pelo menos os capítulos: 1, 2, 4, 5, 9, 19, 20 5ª Edição, capítulo 6 Material didático Capítulo 3, seções 3.1 e 3.2 de "Introduction to Parallel Computing" (2nd Edition) de Ananth Grama, George Karypis, Vipin Kumar, Anshul Gupta, Addison Wesley, Artigos e tutoriais online: P.A. Bernstein. Middleware. Communications of the ACM, Vol. 39, No. 2, February 1996, P. Eugster, P. Felber, R. Gerraoui, A.M. Kermarrec, The Many Faces of Publish/Subscribe, ACM Computing Surveys, Vol. 35, No. 2, June 2003, pp Tutorial Java RMI: Tutorial JMS: 1. processador processadores (SMP, dual, quad core) 1

2 Metodologias básicas para melhorar a de uma CPU: Simplificar organização da máquina de modo a reduzir o período do clock; Reduzir número de ciclos de clock necessários para executar uma instrução; Sobrepor a execução das instruções (pipelines!!!) Uma CPU, fazendo uso mais adequado do hardware Velocidade (throughput, número de instruções por unidade de tempo) versus custo Exemplo da lavanderia Patrícia, Fernanda, Pedro, João têm cada um saco de roupas para lavar, secar e dobrar O ciclo de lavagem leva 30 minutos O de secagem leva 30 minutos O tempo para dobrar é de 30 minutos O funcionário leva 30 minutos para colocar as roupas no armário A Lavanderia sequencial 6 PM AM Lavanderia paralela (pipeline) 6 PM AM A B C D Tempo De maneira sequencial, eles levam 8 horas para 4 cargas Quanto tempo levaria se eles utilizassem a técnica de pipeline? T a s k A B Tempo C O D r d e r Lavanderia Pipelined leva 3.5 horas para 4 cargas! 5 estágios básicos Carrega (fetch) instrução (F) decodifica instrução instruction / lê registradores (R) executa (X) acessa memória (M) armazena resultados nos registradores (W) I-Fetch Decode Execute Memory Write Result Instrução F R X M W F R X M W F R X M W F R X M W F R X M F R X 2

3 Pipelining é um mecanismo que permite a sobreposição temporal das diversas fases da execução de instruções Aumenta o throughput das instruções (mais instruções são executadas por unidade de tempo). Porém, pipeline não ajuda na latência da execução de uma única instrução Assume independência entre fases da execução da instrução Não é sempre o caso (ex., saltos condicionais) levam a ociosidade Afeta a eficiência Um assuntos para arquitetura de computadores processador processadores (SMP, dual, quad core) Várias linhas de execução: um processador Paralelismo simulado processos threads Logicamente há várias linhas de execução Fisicamente não há Um assunto de sistemas operacionais mas uso de multithreading / processos é muito importante na programação de sistemas distribuídos Fonte: Douglas Schmidt 1. processador (single core) processadores/cores (SMP, dual, quad core) Vários processadores, memória compartilhada Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd ed., by B. Wilkinson & M. Allen, 3

4 Vários processadores, memória compartilhada Quad Pentium multi-core: vários processadores, mesmo chip Symmetric Multiprocessing / SMP: Processadores idênticos / multi core Memória compartilhada Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd ed., by B. Wilkinson & M. Allen, Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd ed., by B. Wilkinson & M. Allen, Processador de 3 cores Xenon no Xbox processador (single core) processadores/cores (SMP, dual, quad core) Multi-computadores / Computadores paralelos Memória Local Processador de cores Cell no PS3 4

5 Memória Compartilhada Distribuída Taxonomia de Flynn Single Instruction Multiple Instruction Single Data SISD (PCs / Mainframes) MISD (redundância, ex: avião) NUMA (Non-Uniform Memory Access) Acesso à memória local é mais rápido que acesso à memória remota Multiple Data SIMD (vector / array) MIMD (maioria dos supercomputad ores atuais) Arquiteturas são frequentemente híbridas CUDA NVIDIA fala: 240 stream processors Mais claro: 30 cores 8 SIMD/core Fonte (texto): Arquitetura celular Objetivo: 1.1 Pflops Cada chip contém 80 processadores de 64-bits / 500 MHz, cada processador suporta 2 linhas de execução (threads). 80 gigaflops por chip (desempenho teórico de pico) 5

6 x4 x4 x48 Para quem perdeu as contas... 2 x 80 x 4 x 48 x linhas de execução 1.1 Pflops 13.8 TB RAM x4 x48 x72 Blade server farms Dificuldades HVAC - heating, ventilating, and air conditioning Refrigeração desempenho por watt dissipado Refrigeração a líquido (Interessante: localização de grandes datacenters em locais frios, longe do equador) 6

7 Dificuldades Falhas Com muitos elementos não há como não haver falhas Faça um cálculo de probabilidade: 1024 máquinas, com taxa λ de falha... Qual a taxa de falha da máquina como um todo, se a máquina tivesse que funcionar a todo momento? Computação de alto desempenho na Internet Formação de clusters virtuais (grids) (na Internet) BOINC Várias aplicações: SETI@home, FOLDING@home, Einstein@home 500 Tflops (média), Jan ,287 Pflops, Dez ,1 Pflops as of April 21, ,2 Pflops as of March ,915 petaflops as of 1 January ,337 active computers Universidade da Califórnia, Berkeley Botnets Date created Name Estimated no. of bots Spam capacity Aliases 2009 (May) BredoLab 30,000, billion/day Oficla 2008 (around) Mariposa 12,000,000 0?? Conficker 10,500, billion/day? Zeus 3,600,000 (US Only) -1n/a 2007 (Around) Cutwail 1,500, billion/day? Grum 560, billion/day Tedroo? Mega-D 509, billion/day Ozdok DownUp, DownAndUp, DownAdUp, Kido Zbot, PRG, Wsnpoem, Gorhax, Kneber Pandex, Mutant (related to: Wigon, Pushdo)? Kraken 495,000 9 billion/day Kracken 1. processador (single core) processadores/cores (SMP, dual, quad core) Diferentes modelos de interação em software Middleware RPC Remote Procedure Call Orientado a objetos distribuídos Distributed Objects Remote Method Invocation Orientado a passagem de mensagem Orientado a eventos (publish/subscribe) Orientado a streams (fluxo de dados) Multimedia streams: áudio e vídeo Orientado a serviços 7