Pipelining. Luís Nogueira. Departamento Engenharia Informática Instituto Superior de Engenharia do Porto. Pipelining p.

Transcrição

1 Pipelining Luís Nogueira Departamento Engenharia Informática Instituto Superior de Engenharia do Porto Pipelining p.

2 Análise de performance Desenho ciclo único de relógio é ineficiente Todas as instruções demoram ciclo de relógio Determinado pelo caminho mais longo nos circuitos (lw) Viola princípio de optimização de casos frequentes Alternativa : Variar comprimento do ciclo de relógio Todas as instruções demoram ciclo de relógio No entanto, frequência de relógio variável Etrema dificuldade de implementação Overhead pode facilmente superar vantagens obtidas Pipelining p. 2

3 Análise de performance Alternativa 2: Desenho ciclo múltiplo Ciclo de relógio menor Instruções divergem nos ciclos de relógio necessários Logo, partilham unidades funcionais Temos que redesenhar o nosso processador! Alternativa 3: Pipelining Dividir eecução da instrução em fases Ciclo de relógio menor (fase em vez de instrução) Todas as instruções demoram mesmo número de ciclos Sobrepor processamento de várias instruções em fases distintas elhorar performance global sem diminuir tempo de eecução da instrução Pipelining p. 3

4 Divisão da instrução em fases Fetch instrução é transferida da memória Decode tipo e operandos são determinados Eecute operação eecutada/endereço calculado emory Access acesso a memória em lw/sw Back resultado escrito em registo Time add $s, $t, $t IF ID EX E WB Pipelining p. 4

5 Sobreposição de eecução Cada fase demora ciclo de relógio Ciclo de relógio menor Instruções demoram 5 ciclos Como aumentar performance? Sobrepondo eecução das instruções Em fases distinctas Sem partilha de hardware na mesma fase Semelhante a uma linha de montagem Pipelining p. 5

6 Sobreposição de eecução Program eecution order (in instructions) Time (in clock cycles) CC CC 2 CC 3 CC 4 CC 5 CC 6 CC7 lw $, ($) ALU lw $2, 2($) ALU lw $3, 3($) ALU Pipelining p. 6

7 Ciclo único vs Pipelining Program eecution Time order (in instructions) lw $, ($) lw $2, 2($) lw $3, 3($) fetch ALU 8 ps access fetch ALU 8 ps access fetch 8 ps Program eecution Time order (in instructions) lw $, ($) lw $2, 2($) lw $3, 3($) fetch 2 ps fetch 2 ps ALU fetch access ALU access ALU access 2 ps 2 ps 2 ps 2 ps 2 ps Pipelining p. 7

8 Ciclo único vs Pipelining Ciclo único Ciclo de relógio determinado pela instrução mais lenta Pipelining Ciclo de relógio determinado pela fase mais lenta Tempo de eecução por instrução é o mesmo No entanto, n o instruções por segundo aumenta Eecutando instruções em paralelo ( IPC) Diminuindo ciclo de relógio ( frequência) Depois de superada a latência (n o ciclos para encher pipeline) instrução por ciclo (IPC = ) Pipelining p. 8

9 Divisão dos componentes em fases IF: fetch ID: decode/ register file read EX: Eecute/ address calculation E: emory access WB: back 4 Add Shift left 2 Add ADD result register PC Address Zero ALU register 2 ALU Address isters result register 2 emory 6 Sign 32 etend Pipelining p. 9

10 Implementação No mesmo ciclo de relógio Instruções em fases distintas Partilham fluo de informação Necessário armazenar informação intermédia Adicionar registos entre fases do pipeline IF/ID informação que passa de IF para ID ID/EX informação que passa de ID para EX EX/E informação que passa de EX para E E/WB informação que passa de E para WB Pipelining p.

11 istos do pipeline IF/ID ID/EX EX/E E/WB Add 4 Shift left 2 Add Add result PC Address register register 2 isters register 2 Zero ALU ALU result Address 6 Sign 32 etend Pipelining p.

12 Eemplo do fluo de informação Instrução de acesso à memória (lw$, of f set($2)) Activa as 5 fases Componentes nos próimos esquemas Lado direito realçado leitura Lado esquerdo realçado escrita Pipelining p. 2

13 Fetch - lw $,offset($2) IF/ID ID/EX EX/E E/WB Add 4 Shift left 2 Add Add result PC Address register register 2 isters register 2 Zero ALU ALU result Address 6 Sign 32 etend Pipelining p. 3

14 Decode - lw $,offset($2) IF/ID ID/EX EX/E E/WB Add 4 Shift left 2 Add Add result PC Address register register 2 isters register 2 Zero ALU ALU result Address 6 Sign 32 etend Pipelining p. 4

15 Eecute - lw $,offset($2) Eecution IF/ID ID/EX EX/E E/WB Add 4 Shift left 2 Add Add result PC Address register register 2 isters register 2 Zero ALU ALU result Address 6 Sign 32 etend Pipelining p. 5

16 emory Access - lw $,offset($2) emory IF/ID ID/EX EX/E E/WB Add 4 Shift left 2 Add Add result PC Address register register 2 isters register 2 Zero ALU ALU result Address 6 Sign 32 etend Pipelining p. 6

17 Back - lw $,offset($2) back IF/ID ID/EX EX/E E/WB Add 4 Shift left 2 Add Add result PC Address register register 2 isters register 2 Zero ALU ALU result Address 6 Sign 32 etend Pipelining p. 7

18 Fluo de informação - sequência de instruções lw $,2($) sub $,$2,$3 add $2,$3,$4 lw $3,24($) add $4,$5,$6 Eecução de instruções em paralelo Superada a latência do pipeline Todos os componentes activos num ciclo de relógio IPC = Pipelining p. 8

19 Fluo de informação - sequência de instruções Program eecution order (in instructions) Time (in clock cycles) CC CC 2 CC 3 CC 4 CC 5 CC 6 CC 7 CC 8 CC 9 lw $, 2($) fetch decode Eecution access back sub $, $2, $3 fetch decode Eecution access back add $2, $3, $4 fetch decode Eecution access back lw $3, 24($) fetch decode Eecution access back add $4, $5, $6 fetch decode Eecution access back Pipelining p. 9

20 Fluo de informação - sequência de instruções (CC5) add $4, $5, $6 lw $3, 24 ($) add $2, $3, $4, $ sub $, $2, $3 lw$, 2($) fetch decode Eecution emory back IF/ID ID/EX EX/E E/WB Add 4 Shift left 2 Add Add result PC Address register register 2 isters register 2 Zero ALU ALU result Address 6 Sign 32 etend Pipelining p. 2

21 Controlo do fluo de informação EX assinalar Dest, ALUop, ALUSrc E assinalar PCSrc, em, em WB assinalar emto, WB Control WB EX WB IF/ID ID/EX EX/E E/WB Pipelining p. 2

22 Controlo do fluo de informação PCSrc ID/EX WB EX/E Control WB E/WB IF/ID EX WB Add PC 4 Address register register 2 isters register rite W 2 Shift left 2 Add Add result ALUSrc Zero ALU ALU result Branch Address em emto [5 ] 6 Sign 32 6 etend ALU control em [2 6] ALUOp [5 ] Dst Pipelining p. 22

23 Problemas em pipelining Objectivo é manter pipeline cheio (IPC = ) as por vezes a próima instrução não pode eecutar no próimo ciclo de relógio Problemas Dependências de dados entre instruções sequenciais Acesso à memória tem latência elevada (lw,sw) Instruções de salto alteram fluo de eecução Não temos problemas estruturais no nosso pipeline Não há partilha de hardware na mesma fase Separamos memória de dados da memória de instruções Pipelining p. 23

24 Dependências entre instruções sub $2,$,$3 and $,$2,$5 or $3,$6,$2 add $4,$2,$2 sw $5,($2) Valor de $2 em and é necessário antes de EX Só é actualizado na fase WB por sub! Apenas no 5 o ciclo de relógio esmo problema para or e add Pipelining p. 24

25 Dependências entre instruções Time (in clock cycles) Value of CC CC 2 CC 3 CC 4 CC 5 CC 6 CC 7 CC 8 CC 9 register $2: / Program eecution order (in instructions) sub $2, $, $3 and $2, $2, $5 or $3, $6, $2 add $4, $2, $2 sw $5, ($2) Pipelining p. 25

26 Dependências entre instruções Solução Parar pipeline até valor de $2 ser actualizado em WB Como eecutar código sem parar pipeline? Análise atenta do esquema anterior revela Valor de $2 produzido no CC 3 Necessário valor de $2 em CC 4 e CC 5 Solução 2 Propagar valores mal são conhecidos (forwarding) Pipelining p. 26

27 Forwarding Detectar dependência em run time EX/E.isterRd = ID/EX.isterRs EX/E.isterRd = ID/EX.isterRt E/WB.isterRd = ID/EX.isterRs E/WB.isterRd = ID/EX.isterRt Propagar valor Valor é propagado mal é conhecido (fim de EX) Input ALU passa a vir de qualquer registo do pipeline Sem paragens no pipeline Eige hardware adicional Pipelining p. 27

28 Forwarding - Propagação de valores Time (in clock cycles) CC CC 2 CC 3 CC 4 CC 5 CC 6 CC 7 CC 8 CC 9 Value of register $2: / Value of EX/E: X X X 2 X X X X X Value of E/WB: X X X X 2 X X X X Program eecution order (in instructions) sub $2, $, $3 and $2, $2, $5 or $3, $6, $2 add $4, $2, $2 sw $5, ($2) Pipelining p. 28

29 Forwarding - Hardware adicional ID/EX EX/E E/WB u isters ForwardA ALU u u ForwardB Rs Rt Rt Rd u EX/E.isterRd Forwarding unit E/WB.isterRd Pipelining p. 29

30 Latência no acesso à memória lw $2,2($) and $4,$2,$5 or $8,$2,$6 add $9,$4,$2 slt $,$6,$7 Acesso à memória tem latência elevada and necessita valor de $2 antes de EX Valor de $2 só é conhecido depois de E Forwarding não resolve problema! Pipelining p. 3

31 Latência no acesso à memória Time (in clock cycles) CC CC 2 CC 3 CC 4 CC 5 CC 6 CC 7 CC 8 CC 9 Program eecution order (in instructions) lw $2, 2($) and $4, $2, $5 or $8, $2, $6 add $9, $4, $2 slt $, $6, $7 Pipelining p. 3

32 Latência no acesso à memória Soluções Compilador Hardware Compilador Reordena instruções Instrução seguinte a lw não depende desta Hardware Detectar dependência em run time Inserir estados de espera no pipeline Pipelining p. 32

33 Estados de espera Program Time (in clock cycles) eecution order (in instructions) CC CC 2 CC 3 CC 4 CC 5 CC 6 CC 7 CC 8 CC 9 CC lw $2, 2($) and $4, $2, $5 or $8, $2, $6 add $9, $4, $2 bubble slt $, $6, $7 Pipelining p. 33

34 Estados de espera - hardware adicional Hazard detection unit ID/EX.em IF/DWrtite Control u ID/EX WB EX/E WB E/WB PC IF/ID EX WB PC isters u u ALU u IF/ID.isterRs IF/ID.isterRt IF/ID.isterRt IF/ID.isterRd Rt Rd u ID/EX.isterRt Rs Rt Forwarding unit Pipelining p. 34

35 Instruções de salto beq $,$3,28 and $2,$2,$5 or $3,$6,$2 add $4,$2,$2 lw $4,5($7) IF ocorre em cada ciclo de relógio E se a instrução a ir buscar depender de um salto condicional? Só conhecemos resultado do salto em E! Pipelining p. 35

36 Instruções de salto Time (in clock cycles) CC CC 2 CC 3 CC 4 CC 5 CC 6 CC 7 CC 8 CC 9 Program eecution order (in instructions) 4 beq $, $3, and $2, $2, $5 48 or $3, $6, $2 52 add $4, $2, $2 72 lw $4, 5($7) Pipelining p. 36

37 Instruções de salto Soluções Assumir que salto não é efectuado Reduzir latência da decisão de salto Branch delay slot (compilador) Branch predication Nas próimas aulas Previsão dinâmica de saltos Eecução especulativa Pipelining p. 37

38 Assumir que salto não é efectuado Parar pipeline até conhecer resultado do salto é ineficiente Assume-se que salto nunca é efectuado Eecução sequencial das instruções Se salto for efectuado Descartar instruções em IF, ID e EX IF da instrução correcta Se saltos não forem realizados 5% das vezes Optimização de 5% Pipelining p. 38

39 Reduzir latência da decisão de salto Antecipar decisão de salto do E para ID Apenas instrução descartada Calcular endereço do salto over incrementador PC de E para ID PC e endereço conhecidos em ID Decisão do salto (mais difícil) over decisão para ID implica hardware adicional Forwarding e detecção de dependências Descodificar, comparar e propagar valores no mesmo ciclo Pipelining p. 39

40 Antecipar decisão de salto - Alterações no hardware IF.Flush Hazard detection unit ID/EX Control u WB EX/E WB EX/E + IF/ID + EX WB u PC 4 Shift left 2 isters = u u ALU u Sign etend u Fowarding unit Pipelining p. 4

41 Branch delay slot Antecipando a decisão do salto para ID Apenas instrução em dúvida Compilador tenta introduzir instrução útil nesse slot Instrução independente da decisão de salto Limitações Restrições impostas pelas instruções do programa Dificuldade em prever resultado do salto durante a compilação Solução é eficaz para pipeline com 5 estágios Pipelines mais profundos branch delay slot maior Actualmente técnica é combinada com previsão dinâmica de saltos por hardware Pipelining p. 4

42 Branch predication C IPS Branch predication if(i == j) bne $,$2,ELSE (p) add $3,$4,$5 f = g + h; add $3,$4,$5 ( p) sub $3,$3,$ else j EXIT f = f - i; ELSE: sub $3,$3,$ EXIT: Eliminar saltos condicionais com lógica de predicados Instruções dependem de predicados (verdadeiro/falso) ais rápido se blocos condicionais são pequenos ISA tem de suportar instruções predicadas ais bits por instrução Predicado falso instrução convertida em nop Pipelining p. 42

43 Resumo Pipelining melhora o tempo de eecução médio das instruções elhora performance global Não diminui tempo de eecução de uma instrução ISA influencia implementação do pipeline ISA IPS desenhada para pipelining Problemas em pipelining Dependências de dados entre instruções sequenciais Acesso à memória tem latência elevada (lw,sw) Instruções de salto alteram fluo de eecução Pipelining p. 43