Capítulo 7. This material may not be copied or distributed for commercial purposes without express written permission of the copyright holder.

Transcrição

1 Capítulo 7 Permission is granted to copy and distribute this material for educational purposes only, provided that the complete bibliographic citation and following credit line is included: "Copyright 998 Morgan Kaufmann Publishers." Permission is granted to alter and distribute this material provided that the following credit line is included: "Adapted from Computer Organization and Design: The Hardware/Software Interface, 2nd Edition David A. Patterson, John L. Hennessy Morgan Kaufmann, 2nd ed., 997, ISBN Copyright 998 Morgan Kaufmann Publishers." Lecture slides created by Michael Wahl in English Tradução: Christian Lyra Gomes Revisão: Wagner M. N. Zola This material may not be copied or distributed for commercial purposes without express written permission of the copyright holder.? 998 Morgan Kaufmann Publishers Memórias: Revisão SRAM: valor é armazenado em um par de portas inversoras muito rápida mas toma mais espaço que a DRAM (4 a 6 transistores) DRAM: valor é armazenando como uma carga em um capacitor (deve ser renovada) muito pequena mas é mais lenta que a SRAM (fator de 5 a ) Word line Pass transistor Capacitor Bit line? 998 Morgan Kaufmann Publishers 2

2 Construindo a Hierarquia de Memória Usuários querem memórias grandes e rápidas! mas a que custo? 997 SRAM tempo de acesso entre 2-25ns a um custo de $ a $25 por Mbyte. DRAM tempo de acesso entre 6-2ns a um custo de $5 a $ por Mbyte. Disk tempo de acesso entre to 2 milhões de ns a um custo de $. a $.2 por Mbyte. Memoria muito grande e rapida seria muito cara! Seria possivel construir alguma coisa intermediària? R: Construa uma hierarquia de memória? 998 Morgan Kaufmann Publishers 3 Construindo a Hierarquia de Memória Ou: Como construir uma memória grande e rápida (na maioria dos casos) e barata? R: Construa uma hierarquia de memória S p e e d C P U S iz e C o st ($/b it) F as te st M em o r y S m a lle st H ig he s t M em o r y S lo w e st M em o r y B ig g e st L o w e st? 998 Morgan Kaufmann Publishers 4

3 Construindo a Hierarquia de Memória Ou: Como construir uma memória grande e rápida (na maioria dos casos) e barata? R: Construa uma hierarquia de memória CPU acessa palavras ou bytes (no primeiro nível) Transferência entre níveis: Em blocos Data are transferred? 998 Morgan Kaufmann Publishers 5 Hierarquia de Memória Visão Lógica: Em níveis ou Camadas CPU Levels in the memory hierarchy Level Level 2 Increasing distance from the CPU in access time Level n Size of the memory at each level? 998 Morgan Kaufmann Publishers 6

4 Localidade Um princípio que torna a hierarquia de memória uma boa idéia se um item é referenciado, localidade temporal: ele tende a ser referenciado novamente logo localidade espacial: itens próximos tentem a ser referenciados logo. Por que o código tem localidade? Nosso foco inicial: dois níveis (superior, inferior) bloco: unidade mínima de dados Acerto (hit): dado requisitado está no nível superior falta: dado requisitado não está no nível superior? 998 Morgan Kaufmann Publishers 7 Dois pontos: Como nós sabemos se um item de dado está no cache? Se ele estiver, como nós o achamos? Nosso primeiro exemplo: tamanho do bloco é uma palavra de dado mapeado diretamente Para cada item de dado no nível inferior, existe exatamente um local no cache onde ele deve estar. e.g., muitos itens no nível inferior compartilham o mesmo local no nível superior? 998 Morgan Kaufmann Publishers 8

5 Mapeado Diretamente Mapeamento: endereço é o módulo do número de blocos no cache C a c h e M e m o ry? 998 Morgan Kaufmann Publishers 9 Mapeado Diretamente A d d r e s s ( s h o w i n g b it p o s itio n s ) Para o MIPS: H i t T a g B y t e o f f s e t D a t a In d e x In d e x 2 V a l id T a g D a ta De que tipo de localidade nós estamos tirando vantagem?? 998 Morgan Kaufmann Publishers

6 Mapeado Diretamente Tirando vantagem da localidade espacial: Address (showing bit positions) Hit Tag Byte offset Index Block offset Data 6 bits 28 bits V Tag Data 4K entries Mux 32? 998 Morgan Kaufmann Publishers Acertos vs. Faltas Acertos de leitura isto é o que queremos! Faltas de leitura paralisa a CPU, busca bloco da memória, entrega ao cache, reinicia Acertos de escrita: pode trocar dados no cache e na memória (write-through) escrever dados apenas no cache (write-back no cache depois) Faltas de escrita: ler o bloco inteiro no cache, e depois disso escreve a palavra? 998 Morgan Kaufmann Publishers 2

7 Pontos: Hardware Tornar a leitura de múltiplas palavras mais fácil através do uso de bancos de memória CPU CPU CPU Multiplexor Bus Bus Bus Memory Memory bank Memory bank Memory bank 2 Memory bank 3 Memory b. Wide memory organization c. Interleaved memory organization a. One-word-wide memory organization Isso pode se tornar muito mais complicado...? 998 Morgan Kaufmann Publishers 3 Desempenho Aumento do tamanho do bloco tende a diminuir a taxa de falta: 4 % 3 5 % 3 % Miss rate 2 5 % 2 % 5 % % 5 % % B lo c k s iz e (b y te s ) K B 8 K B 6 K B 6 4 K B K B? 998 Morgan Kaufmann Publishers 4

8 Desempenho Aumento do tamanho do bloco tende a diminuir a taxa de falta: Miss rate 4% 35% 3% 25% 2% 5% % 5% % Block size (bytes) KB 8 KB 6 KB 64 KB Use caches divididos porque existe muito mais localidade 256 KB espacial no código: tamanho do bloco em palavras Taxa de Falta de dados Taxa de Falta programa de Instruções gcc 6.% 2.% 5.4% 4 2.%.7%.9% spice.2%.3%.2% 4.3%.6%.4% Taxa de Faltas efetiva combinada? 998 Morgan Kaufmann Publishers 5 Desempenho Modelo simplificado: tempo de execução = (ciclos de execução + ciclos paralisados)? tempo de ciclo ciclos paralisados = # de instruções? taxa de Faltas? penalidade da Falta Duas maneiras de melhorar o desempenho: diminuir a taxa de faltas diminuir a penalidade da falta O que acontece se aumentarmos o tamanho do bloco?? 998 Morgan Kaufmann Publishers 6

9 Diminuido a taxa de Faltas com Associatividade O n e - w a y s e t a s s o c i a t iv e ( d i r e c t m a p p e d ) B lo c k T a g D a t a S e t 2 3 T w o - w a y s e t a s s o c ia t iv e T a g D a t a T a g D a t a S e t F o u r - w a y s e t a s s o c ia tiv e T a g D a t a T a g D a t a T a g D a t a T a g D a t a E ig h t - w a y s e t a s s o c ia t iv e ( f u lly a s s o c i a t iv e ) T a g D a t a T a g D a t a T a g D a t a T a g D a ta T a g D a ta T a g D a ta T a g D a t a T a g D a t a Comparado ao mapeado diretamente, dado uma série de referencias que: resulta em uma taxa de Falta menor usando um cache associativo de grau 2 resulta em uma taxa de Falta maior usando um cache associativo de grau 2 assumindo que usamos a estratégia de reposição do menos recentemente usado? 998 Morgan Kaufmann Publishers 7 Uma implementação A d d r e s s I n d e x 2 V T a g D a ta V T a g D a ta V T a g D a t a V T a g D a t a to - m u ltip le x o r H it D a ta? 998 Morgan Kaufmann Publishers 8

10 Desempenho 5 % 2 % 9 % Miss rate 6 % 3 % % O n e-w a y Tw o -w a y Fo u r-w a y E ig h t-w a y A s so ciativ ity K B 6 K B 2 K B 3 2 K B 4 K B 6 4 K B 9 8 K B 2 8 K B? 998 Morgan Kaufmann Publishers Diminuindo a penalidade de Faltas com caches Multiníveis Adicione um cache de segundo nível: freqüentemente o cache primário está no mesmo chip que o processador use SRAMs para adicionar outro cache acima da memória primária (DRAM) penalidade de falta diminui se o dado estiver no cache de segundo nível Exemplo: CPI de. em uma máquina de 5Mhz com uma taxa de falta de 5%, DRAM de 2ns de acesso Adicionando um cache de segundo nível com tempode acesso de 2ns diminui a taxa de erro para 2% Usando caches multiníveis: tente e otimize o tempo de acerto no cache primário tente e otimize a taxa de falta no cache secundário? 998 Morgan Kaufmann Publishers 2

11 Memória Virtual Memória principal pode atuar como um cache para o armazenamento Virtual addresses Physical addresses secundário (disco) Address translation Disk addresses Vantagens: ilusão de ter mais memória física re-alocação de programa proteção? 998 Morgan Kaufmann Publishers 2 Páginas: blocos de memória virtual Faltas de páginas: o dado não está em memória, retire ele do disco penalidade de falta enorme, logo as páginas devem ser razoavelmente grandes (ex., 4KB) reduzir as faltas de páginas é importante (LRU vale o preço) podemos lidar com as faltas no software ao invés do hardware usar write-through é muito caro por isso usamos writeback Virtual address Virtual page number Page offset Translation Physical page number Page offset Physical address? 998 Morgan Kaufmann Publishers 22

12 Tabelas de Páginas Virtual page number Valid Page table Physical page or disk address Physical memory Disk storage? 998 Morgan Kaufmann Publishers 23 Tabelas de Páginas P age table re gister V irtual address V irtual page num ber P age offset 2 2 V alid P hy sical pa ge num ber Page table If th en page is not present in m em ory P hy sical pa ge num ber P hys ical address P age offset? 998 Morgan Kaufmann Publishers 24

13 Tornando a Tradução de Endereço Rápida Um cache para tradução de endereços: translation lookaside buffer TLB (TLB) Virtual page number Valid Tag Physical page address Physical memory Page table Physical page Valid or disk address Disk storage? 998 Morgan Kaufmann Publishers 25 TLBs e caches Virtual address TLB access TLB miss exception No TLB hit? Yes Physical address No Write? Yes Try to read data from cache No Write access bit on? Yes miss stall No hit? Yes Write protection exception Write data into cache, update the tag, and put the data and the address into the write buffer Deliver data to the CPU? 998 Morgan Kaufmann Publishers 26

14 Sistemas Modernos Sistemas de memórias muito complicado: Característica Intel Pentium Pro PowerPC 64 Ender. Virtual 32 bits 52 bits Ender. Físico 32 bits 32 bits Tam. Página 4 KB, 4 MB 4 KB, selecionável, e 256 MB organização TLB TLB p/ instruções e TLB p/ dados TLB p/ instruções e TLB p/ dado ambas associativas grau 4 ambas associativas grau 2 substituição Pseudo-LRU substituição LRU TLB Instruções: 32 entradas TLB Instruções: 28 entradas TLB Dados: 64 entradas TLB Dados: 28 entradas faltas da TLB tratadas no hardware faltas da TLB tratadas no hardware Característica Intel Pentium Pro PowerPC 64 Organização do de dados e instruções de dados e instruções Tamanho do 8 KB para cada um 6 KB para cada um Associatividade do associativo grau 4 associativo grau 4 Substituição aproximação LRU LRU Tamanho do Bloco 32 bytes 32 bytes Política de Escrita Write-back Write-back ou write-through? 998 Morgan Kaufmann Publishers 27 Alguns pontos Velocidade do processador continua aumentando muito rapidamente muito mais rápido que a da DRAM ou tempo de acesso de disco Desafio de projeto: lidar com essa crescente disparidade Tendências: SRAMs síncronas (provem rajadas de dados) re-projetar chips DRAM para prover maior largura de banda ou processamento re-estruturar o código para aumentar a localidade usar pré-busca (fazendo o cache visível pela ISA)? 998 Morgan Kaufmann Publishers 28

15 Capítulos 8 & 9 Permission is granted to copy and distribute this material for educational purposes only, provided that the complete bibliographic citation and following credit line is included: "Copyright 998 Morgan Kaufmann Publishers." Permission is granted to alter and distribute this material provided that the following credit line is included: "Adapted from Computer Organization and Design: The Hardware/Software Interface, 2nd Edition David A. Patterson, John L. Hennessy Morgan Kaufmann, 2nd ed., 997, ISBN Copyright 998 Morgan Kaufmann Publishers." Lecture slides created by Michael Wahl in English Tradução: Christian Lyra Gomes Revisão: Wagner M. N. Zola This material may not be copied or distributed for commercial purposes without express written permission of the copyright holder.? 998 Morgan Kaufmann Publishers 29 Interfaceando Processadores e Periféricos Projeto de I/O afetado por muitos fatores (expansibilidade, elasticidade) Desempenho: latência de acesso vazão conexão entre os dispositivos e o sistema a hierarquia da memória o sistema operacional Uma variedade de diferentes usuários (ex., bancos, supercomputadores, engenheiros) Interrupts Memory I/O bus Main memory I/O controller I/O controller I/O controller Disk Disk Graphics output Network? 998 Morgan Kaufmann Publishers 3

16 I/O Importante mas negligenciado As dificuldades em avaliar e projetar sistemas de I/O tem frequentemente relegado o I/O a um status de segunda classe? 998 Morgan Kaufmann Publishers 3 Dispositivos de I/O Dispositivos muito diversos comportamento (i.e., entrada vs. saída) parceiro (quem está na outra ponta?) taxa de dados Dispositivo Comportamento Parceiro Taxa de Dados (Kb/s) Teclado entrada humano. Mouse entrada humano.2 Entrada de Voz entrada humano.2 Scanner entrada humano 4. Saída de voz saída humano.6 Impressora de linha saída humano. Impressora Laser saída humano 2. Display Gráfico saída humano 6,. Modem Entrada ou Saída máquina Rede/LAN Entrada ou Saída máquina Disquete armazenamento máquina. Disco óptico armazenamento máquina. Fita Magnética armazenamento máquina 2. Disco Magnético armazenamento máquina 2.-,.? 998 Morgan Kaufmann Publishers 32

17 Exemplo de I/O: Discos Rígidos Platters Tracks Platter Sectors Track Para acessar dados: procura: posicionar a cabeça sobre a trilha (8 a 2 ms. avg.) latência de rotação: esperar pelo setor desejado (.5 / RPM) transferência: pegar os dados (um ou mais setores) de 2 a 5 MB/sec? 998 Morgan Kaufmann Publishers 33 Exemplo de I/O: Barramentos Link de comunicação compartilhado (um ou mais fios) Projeto difícil: pode ser um gargalo comprimento do barramento número de dispositivos compromissos (buffers para larguras de banda altas aumentam a latência) suporte para muitos dispositivos diferentes custo Tipos de barramentos: processador-memória (pequeno e de alta velocidade, projeto personalizado) backplane (alta velocidade, freqüentemente padrão, ex. PCI) I/O (comprido, diferentes dispositivos, padronizado, ex. SCSI) Síncrono vs. Assíncrono use um clock e um protocolo síncrono, rápido e pequeno, mas cada dispositivo deve operar na mesma freqüência e o barramento deve ser pequeno por causa do escorregamento do clock não usa um clock, no entanto usa um handshaking? 998 Morgan Kaufmann Publishers 34

18 Alguns exemplos de problemas ReadReq 3 Data Ack DataRdy Vamos olhar alguns exemplos do texto Análise de Desempenho do Síncrono vs. Assíncrono Análise de Desempenho de Dois Esquemas de Barramento? 998 Morgan Kaufmann Publishers 35 Outros Pontos Importantes Arbitragem do Barramento: arbitragem daisy chain (não muito justo) arbitragem centralizada (requer um árbitro), ex., PCI seleção própria, ex., NuBus usado no Macintosh detecção de colisão, ex., Ethernet Sistema Operacional: polling interrupções DMA Técnicas de análise de desempenho: Teoria de enfileiramento simulação análise, i.e., achar o elo mais fraco (veja Projeto de Sistema de Entrada/Saída ) Muitos desenvolvimentos novos? 998 Morgan Kaufmann Publishers 36

19 Multiprocessadores Idéia: criar computadores poderosos através da conexão de muitos computadores menores Notícias boas: funciona para compartilhamento de tempo (melhor que um supercomputador) processamento vetorial pode estar voltando Notícias ruins: é realmente difícil escrever bons programas concorrentes muitos fracassos comerciais Single bus Memory Memory Memory Memory I/O Network? 998 Morgan Kaufmann Publishers 37 Questões Como processadores paralelos compartilham dados? espaço de endereçamento único (SMP vs. NUMA) passagem de mensagens Como os processadores paralelos se coordenam? sincronização (locks, semáforos) construído nas primitivas envia / recebe protocolos de sistemas operacionais Como eles são implementados? conectados por um barramento único conectados por uma rede? 998 Morgan Kaufmann Publishers 38

20 Alguns problemas interessantes Coerência de Snoop tag tag and data Snoop tag tag and data Snoop tag tag and data Single bus Memory I/O Sincronização provê instruções atômicas especiais (test-and-set, swap, etc.) Topologia da rede? 998 Morgan Kaufmann Publishers 39 Observações conclusivas Evolução vs. Revolução Muito freqüentemente o custo da inovação é atrapalhar muito os usuários de computadores Microprogramming Pipelining Timeshared multiprocessor Virtual memory RISC CC-UMA multiprocessor CC-NUMA multiprocessor Not-CC-NUMA multiprocessor Message-passing multiprocessor Massive SIMD Parallel processing multiprocessor Evolutionary Revolutionary Aceitação de ideías no hardware requer aceitação pelo pessoal do software; por isso o pessoal do hardware deve aprender sobre software. E se o pessoal do software quer boas máquinas, eles devem aprender mais sobre hardware para estarem aptos a se comunicar com ele, e portanto influenciar engenheiros de hardware? 998 Morgan Kaufmann Publishers 4