PUCRS FACULDADE DE INFORMÁTICA

Transcrição

1 14/05/15 MPSoCs Fernando Gehm Moraes PUCRS FACULDADE DE INFORMÁTICA revisão: 14/maio/ Múltiplas aplicações em um só dispositivo 2 1

2 O que é um SOC (System-on-a-chip)? Todo sistema integrado em um único circuito integrado (desempenho) Projeto modular Reuso de IPs Um SOC pode conter: Módulos de propriedade intelectual reutilizáveis Processador(es) embarcado(s) Memória embarcada Software Interfaces com o mundo externo (USB, PCI, Ethernet) Blocos analógicos Hardware programável (FPGAs) 3 Porque SoCs? Time-to-market! Adoption Rates of Various Systems / Appliances Sales Volume PCS DVB Cellular PC VCR Color TV Cable TV Black & White TV One Million Units DVD Years After Introduction Source: Semico Research Corp. E o IPAD? 28 dias para vender 1 milhão de unidades! PS4 sells over 300,000 in first two days on sale in Japan 4 2

3 Princípios básicos de paralelismo CPU Multiciclo Ciclo 1 Ciclo 2 Ciclo 3 Ciclo 4 Ciclo 5 Inst Busca Dec/ Exec Mem Escrita CPU com pipeline Ciclo 1 Ciclo 2 Ciclo 3 Ciclo 4 Ciclo 5 Ciclo 6 Ciclo 7 Ciclo 8 Inst 1 Busca Dec/ Exec Mem Escrita Inst 2 Busca Dec/ Exec Mem Escrita Inst 3 Busca Dec/ Exec Mem Escrita Inst 4 Busca Dec/ Exec Mem Escrita Execução em paralelo! 5 Execução Superscalar IM ALU DM IM ALU DM IM ALU DM IM ALU DM IM ALU DM IM ALU DM IM ALU DM IM ALU DM IM ALU DM IM ALU DM IM ALU DM 6 3

4 Máquina VLIW 7 Characteristics of Superscalar, SMT, and CMP architectures A comparison of three architectures: Superscalar, Simultaneous Multithreading CPUs and Single-Chip Multiprocessor. 8 4

5 Como processadores ficaram mais rápidos? superpipelining superscalar execution dynamic scheduling multilevel memory caching aggressive speculation DSP specialization fabrication technology LIMITAÇÕES TÉCNICAS E TECNOLÓGICAS! 9 1º MURO - ILP WALL Influência do compilador! descobrir o paralelismo em máquinas superescalar e VLIW a ordem das instruções (dependência) afeta o desempenho ILP wall 10 5

6 2º/3º MUROs : FREQ. WALL / POWER WALL 11 4º MURO - MEMORY WALL Capacidade Velocidade Lógica: 2x em 3 anos 2x em 3 anos DRAM: 4x em 3 anos 2x em 10 anos Disco: 4x em 3 anos 2x em 10 anos Fato: memórias grandes são lentas, memórias rápidas são pequenas Como criar uma memória grande e rápida (pelo menos na maior parte do tempo)? Hierarquia Paralelismo 12 6

7 4º MURO - MEMORY WALL 13 Mais um problema: Design Gap Capacidade de integração ultrapassa a capacidade de projeto 10,000,000 10,000 1,000,000 1, , , , Logic Tr./Chip Tr./Staff Month. x x x x x x x Complexity growth rate 58%/Yr. compounded x 21%/Yr. compound Productivity growth rate 100,000,000 10,000,000 1,000, ,000 10, , Complexity Logic Transistor per Chip (M) Productivity (K) Trans./Staff - Mo Source: Sematech Complexity outpaces design productivity Courtesy, ITRS Roadmap

8 MORE SOFTWARE THAN HARDWARE IC Hardware & Software Effort Software 1200 Growth in SW Engineers Hardware 0.35u 0.25u 0.18u 0.15u 0.13u Software Engineers Source: Top Ten Semiconductor Supplier Solution? Probably one are manycores/smp/mpsocs 15 MPSoC Multiprocessor system-on-chip Sistema multiprocessado integrado como um SoC Elementos de processamento + IPs + Infra-estrutura de Comunicação Evolução de Clusters (+ recursos = + desempenho) Today Cluster ( CPUs) Core Duo Technology MPSoC (2-4 CPUs) ( CPUs) 16 8

9 Design Evolution ASICs: Dedicated hw 1 algorithm Single microprocessor SoC: Complete application 70 s 80 s Bus-based MPSoC Platform design Target multiple applications NoC-based MPSoC Many applications Dynamic behavior 100 s PEs 90 s 00 s 17 Então, porque utilizar MPSoCs? Quebram o ILP wall Múltiplas threads/tarefas executam simultaneamente Paralelismo de grão-grande (não mais no nível de instrução) Quebram o frequency wall e o power wall Múltiplos PEs mais lentos e mais simples Escalabilidade obtida pelo aumento do número de PEs e não pelo aumento da freqüência Uso de processamento heterogêneo pra aumento de desempenho/redução de potência Quebram o memory wall Hierarquia de memórias distribuídas e adaptadas às aplicações Replicação do sistema operacional nos PEs Diminuem o design gap Replicação dos PEs diminui os custos de projeto de verificação Aumenta a importância da rede de comunicação 18 9

10 Receita de MPSoC Concepção de circuitos - Reuso de módulos - Comunicação Ewerson Carvalho TM Multidão de Engenheiros Tecnologia do Silício - Transistores menores - Fios mais próximos Conceito de SoC - Tudo no mesmo CI - Melhor desempenho - Menor time-to-market Sistemas Operacionais - Gerência de recursos - Escalonamento de processos - Mapeamento de processos MPSoC Redes de computadores - Topologias - Algoritmos de roteamento - etc Conceito de cluster - Replica recurso = maior desempenho - Balanceamento de carga - Migração de tarefas Reusando conceitos antigos para novos cenários 19 Multicores Are Here

11 Multicores Are Here technology evolution Year Processor Transistors Feature size Data Width Frequency Features nM KHz First Microprocessor nm 16 10MHz IBM PC/AT nm 32 33MHZ Pipelining nm MHz Integral FPU 1993 PenHum nm MHz On- Chip L1 Cache; Superscalar 1995 PenHum Pro nm MHz Out- of- order execuhon 1997 PenHum MMX P55C nm MHz Dynamic branch predichon; MMX (SIMD) instruchons 1999 PenHum III nm GHz On- chip L2 Cache 2004 PenHum 4E nm GHz Hyper- threading 2006 Xeon Tulsa nm GHz Dual- Core 2010 Xeon 7500 Nehalem nm GHz Eight- Cores 21 Previsão da evolução dos MPSoCs 22 11

12 Organizações básicas de MPSoCs A forma como a comunicação entre os processadores é realizada define a organização do MPSoC Modelo de comunicação com a memória Memória Unificada UMA / NUMA Troca de mensagens Modelo físico de comunicação Barramento Rede intra-chip, ou NoC (Network-on-chip) 23 MPSoC conectado por barramento Número típico de processadores: 2-32 Espaço único de endereçamento Coerência de cache é simples (protocolos snoop) Programação mais simples, mas não escalável 24 12

13 Barramentos e hierarquia de memória ARM11 MPCore AMD Opteron No shared Intel Core Duo Intel Core i7 Shared 25 Barramento Complexidade crescente da interconexão por barramento Philips Nexperia-DVP 26 13

14 MPSoC conectado por rede (NoC) Arranjo de roteadores conforme uma topologia Abaixo uma rede malha (mesh) Elementos de processamento, memórias, IPs conectados aos roteadores (redes diretas) Comunicação por troca de mensagens R R R cache Proc cache Proc cache Proc R R R IP cache Proc Mem R R R cache Proc cache Proc IP Programação mais complexa, porém escalável 27 Organizações básicas de MPSoCs Logo: 1) Utilizar comunicação por troca de mensagens 2) Utilizar redes intra-chip (NoCs) ao invés de barramento 28 14

15 MPSoC tipo de processamento Homogêneo elementos de processamento (PEs) idênticos Pros Cons tarefa de programação mesma aplicação pode executar em qualquer PE mapeamento das aplicações no MPSoC tarefas mais intensivas podem não ter seus requisitos de desempenho atendidos Heterogêneo PEs distintos (GPPs, DSPs, NPUs) Pros Cons PEs dedicados para tarefas específicas gerência do sistema programação µp ASIP ASIP ASIP DSP ASIP ASIP ASIP ASIP ASIP Imaging Video Radio/modem Graphics Crypto Audio Filtering 29 Exemplos industriais de MPSoCs (1/4) Cell Processor Processador central Power Processing Element IBM PowerPC Multithreaded (2 Threads) Cache L1 (32kb I e 32 Kb D) Cache L2-512 Kb Freqüência: 3.2 GHz Atua como controlador dos processadores periféricos Oito processadores periféricos Synergistic Processing Elements (SPE) Baseados em Processamento Vetorial (SIMD) 256 Kb Local Storage Controlados por software Dificuldades para codificar software MPSoC proposto pela IBM para o PlayStation3 (2006) Desenvolvedores de SW são responsáveis pelo gerenciamento dos dados das Local Storages 30 15

17 14/05/15 Exemplos industriais de MPSoCs (2/4) } UltraSparc T2 (Niagara 2) 8 processadores baseados no instruction set Sparc-V9 Cada processador é capaz de executar 8 threads concorrentemente (total de 64 threads) Server on a Chip Pipeline de 8 estágios (1.6Ghz) Cache L2 4MB PCI express Duas portas 10 Gigabit Ethernet 4 controladores dual-channel FBDIMM 8 Bancos Associativa por conjunto 16 Aplicações WebServers Database 33 Exemplos industriais de MPSoCs (2/4) } UltraSparc T5 (Oracle) Fonte: IEEE Micro Março/Abril

18 14/05/15 Exemplos industriais de MPSoCs (3/4) Tile GX Tilera (100 Núcleos) 100 cores on a single chip 64-bit VLIW processors Up to 3 instructions/cycle 3-stage pipeline Up to total of 750 BOPS 32K L1i cache, 32K L1d cache, 256K L2 cache per tile 5 on-chip Mesh networks 40 nm technology Over 200 Tbps 1 to 1.5 GHz clock frequency Supports SMP Linux and virtualization Other members: 16, 32, 64 tiles 35 Exemplos industriais de MPSoCs (4/4) Intel (80 Núcleos) MPSoC Homogêneo Baseado em NoC MPSoC proposto pela Intel (2007) 1 trilhão de operações de ponto flutuante por segundo Consumo de potência: 62 Watts Baseado em uma arquitetura VLIW Exploração do ILP via compilador Simplicidade dos Cores: Remoção do HW superescalar

19 14/05/15 Intel Single-chip Cloud Computer (SCC) 24 tiles with two IA cores per tile A 24-router mesh network with 256 GB/s bisection bandwidth 4 integrated DDR3 memory controllers Hardware support for message-passing System Architecture Multiport SDRAM controller - Up to 533-MHz DDR3 and LPDDR2 - Up to 400-MHz DDR2 - Up to 200-MHz Mobile DDR - Integrated ECC support Cost- and power-optimized FPGA fabric - Lowest power transceivers - Up to 1,600 GMACS, 300 GFLOPS - Up to 25Mb on-chip RAM - More hard intellectual property (IP): PCIe and memory controllers ARM Cortex-A9 NEON / FPU L1 Cache ARM Cortex-A9 NEON / FPU L1 Cache L2 Cache 64-KB RAM JTAG Debug / Trace (1) SD / SDIO/ MMC (1) Timers (x11) Shared Multiport DDR SDRAM Controller (2) HPS to FPGA QSPI Flash Control NAND Flash (1) (2) FPGA Hard Multiport DDR Multiport DDR (2) Multiport DDRSDRAM SDRAM SDRAM Controller Controller Controller USB OTG (x2) (1) Ethernet (x2) (1) GPIO I2C (x2) SPI (x2) CAN (x2) DMA (8 Channels) FPGA to HPS UART (x2) FPGA Configu ration 28LP process 8-input ALMs Variable-precision DSP M10K memory and 640-bit MLABs fplls Hard PCIe PCIe 3-, 5-, 6-, and 10-Gbps Transceivers FPGA General Purpose I/Os High-bandwidth on-chip interfaces - > 125-Gbps HPS-to-FPGA interface - > 125-Gbps FPGA-to-SDRAM interface Hard Processor System (HPS) HPS I/Os Processor - Dual-core ARM Cortex -A9 MPCore processor - 4,000 MIPS (up to 800 MHz per core) - NEON coprocessor with double-precision FPU - 32-KB/32-KB L1 caches per core KB shared L2 cache 37 Notes: (1) Integrated direct memory access (DMA) (2) Integrated ECC 38 19

20 MPSoCs are multicore processors? No! - fulfill the requirements of embedded applications - MPSoCs have been in production for much longer than multicore processors l Multicore: high-performance computing l MPSOC: real-time performance - Característica importante: heterogêneos l Nível de memórias l Nível de processamento Multiprocessor System-on-Chip (MPSoC) Technology Wayne Wolf Ahmed Amine Jerraya, and Grant Martin IEEE TRANSACTIONS ON COMPUTER-AIDED DESIGN OF INTEGRATED CIRCUITS AND SYSTEMS, VOL. 27, NO. 10, OCTOBER MPSOC Priorities - Compositionality - The composability of functionality, communication and memory usage is essential to ensure limited and controlled interference between applications - Composability of functions, communication and memory usage is the pre-requisite for efficient functional verification, efficient performance analysis and predictable run time behavior - Fully composable applications + predictable behavior à safe to adding new features and applications under end-user control - Hard composability allow to mix security and safety critical applications with less critical applications on the same platform - Runtime scalability (or any other kind of adaptation) will require standard interfaces and mechanisms for extending and adapting the system structure to runtime conditions

21 MPSOC Priorities - Dependability - Managing a system build of heterogeneous HW modules, running several OS and with a very low degree of correlation highly increases the complexity of the process and the design of related tools. - Back in time capabilities will not be possible anymore, as dependencies will have a highly non-deterministic characteristic. - Architectural features must be available early to verification tools, such that specific verification during design development can be performed on architecture instances. - Self-test environment à a necessity for run-time verification l Component interaction will be supervised and appropriately (dynamically) directed such that failures are solved at run-time. l Provisions for such behavior will impact on performance metrics, therefore suitable design methodologies must be able to provide an as much as possible independent treatment for functional and supervisory mechanisms MPSOC Priorities - Scalability - The use of a large number of processing cores, possibly not known at execution time - 3D: logic, communication architectures and memory hierarchies will extend on a third dimension. - The increased number of processors with a probable different provenience and running a variety of OS will raise additional connectivity issues

22 MPSOC Priorities - Scalability 43 Challenges and Opportunities MPSoCs combine the difficulties of building complex hardware systems and complex software systems. Methodology is critical to MPSoC design. - Methodologies that work offer many advantages. They decrease the time it takes to design a system; they also make it easier to predict how long the design will take and how many resources it will require. Methodology also codify techniques for improving performance and power consumption that developers can apply to many different designs. MPSoC hardware architectures present challenges in all aspects of the multiprocessor: processing elements, memory, and interconnects. Configurable processors with customized instruction sets are one way to improve the characteristics of processing elements; hardware/ software codesign of accelerators is another technique 44 22