de saltos Aula de Abril de

Transcrição

1 Predição de saltos Aula de Abril de

2 Estrutura desta aula Predição estática e dinâmica Custos da não predição Soluções Predição estática Predição dinâmica Branch History Tables (BHT) com 1 e 2 bits Predição com correlação Limites dos preditores BHT Branch Target Buffers (BTB) Ref: Hennessy e Pattersson, 3.4, de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

3 Predição estática tica e dinâmica Como vimos atrás (aula 9) ocorre um conflito de controlo quando uma instrução de salto condicionado executa um salto para o endereço alvo Se a decisão sobre o salto for feita no andar EX do pipeline simples com 5 andares e se, em função da decisão, se efectuar o salto para o endereço alvo, então as instruções que estão nos andares IF e ID (as que se seguem ao branch) não são válidas devem ser eliminadas stalls e consequente diminuição do CPI Tal como se usam técnicas de escalonamento estático e dinâmico das instruções para os conflitos de dados, também existem técnicas estáticas e dinâmicas de predição de saltos para os conflitos de controlo 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

4 Custos da não predição Os processadores modernos podem ter mais de 10 andares no pipeline entre o cálculo do próximo valor do PC e a resolução do branch eliminação de muitas instruções e redução do CPI 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

5 Soluções Solução em software (compilador) Loop unrolling Aumenta o número de instruções Escalonamento de instruções Determina a condição de salto tão cedo quanto possível (solução limitada) Soluções em hardware Delay slots Substitui bolhas no pipeline por instruções úteis (precisa de apoio do software) Predição de saltos Execução especulativa de instruções depois do branch 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

6 Predição estática tica Predição efectuada no compilador, antes do programa correr Heurísticas simples Branches sempre tomados, isto é, salta-se sempre para o endereço alvo ( Always taken ) Branches nunca tomados, isto é, nunca se salta para o endereço alvo e prossegue-se sempre em sequência, com a instrução que se segue ao branch ( Always not taken ) Se o endereço de salto é anterior ao do branch, o branch é tomado, se endereço para a frente o branch não é tomado ( Backwards taken / Forward not taken ou BTFNT) Quando a predição falha, eliminam-se as instruções que estão para a frente e que já existem no pipeline 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

7 Predição estática tica - resultados 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

8 Predição dinâmica Existem vários esquemas de predição dinâmica BHT ( Branch History Table ) ou BPB ( Branch Prediction Buffer ) com 1 bit BPB com 2 bits BPB com correlação BTB ( Branch Target Buffer ) Outros Combinações de preditores Vamos concentrar a nossa atenção apenas nos 4 primeiros 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

9 BHT com 1 bit (1) Vamos estudar alguns esquemas de predição dinâmica de saltos nos processadores escalares simples (que emitem uma instrução por ciclo de relógio), mas os esquemas são igualmente aplicáveis aos processadores superescalares (na próxima aula) O esquema de predição dinâmica mais simples usa uma Branch History Table (BHT). Este esquema também é conhecido por Branch Prediction Buffer (BPB) 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

10 BHT com 1 bit (2) A BHT é uma pequena memória indexada por alguns dos bits menos significativos do endereço de salto (digamos, k bits) Tabela incluída no andar ID A tabela contém 1 bit que indica se, ultimamente, o branch foi tomado ou não (se se efectou ou não um salto), o que designamos por T (tomado) e por N ou por NT (não tomado) 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

11 BHT com 1 bit (3) BHT com 2^k entradas e 1 bit/entrada T/N Tomado Não tomado 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

12 BHT com 1 bit (4) T N O estado T* significa vários estados T em sequência O estado N* significa vários N em sequência 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

13 BHT com 1 bit (5) Com este esquema não sabemos de certeza se o salto vai ou não ser tomado Um N ou um T pode ter sido colocado na BHT por um outro branch com os mesmos k bits de indexação no endereço de salto colisão de endereços Tem a vantagem de necessitar de pouco hardware, em relação a uma solução que utilize todos os bits do PC, em vez de apenas k desses bits mas erra muitas vezes quantas? 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

14 BHT com 1 bit (6) Em todos os ciclos, uma BHT de 1 bit dá sempre origem a duas falhas de predição do endereço de salto Na última iteração é inevitável Na primeira iteração porque o bit da BHT foi deixado a N por uma execução anterior do ciclo, e quere-se T Exemplo para ciclo com 9 T e 1 N TTTTTTTTT T N N T TTTTT... A precisão do resultado da previsão é de 80% duas predições incorrectas e oito correctas 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

15 BHT com 1 bit (7) Exemplo mais elaborado, com um ciclo interno e um ciclo externo DADDI R1,R0,#64 Ciclo_ext:... DADDI R10,R0,#20 Ciclo_int:... DSUBI R10,R10,#4 5T, 1N BNE R10,R0,Ciclo_int... 16T, 1N DSUBI R1,R1,#4 BNE R1,R0,Ciclo_ext 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

16 BHT com 1 bit (8) Ex (cont). Porque existem 16 ciclos externos com T, existem 16*2 = 32 predições erradas devidas aos ciclos internos (duas por ciclo), num total de 80 ciclos efectuados (16*5) Ou seja, 32/80 = 2/5 = 40% de predições erradas Não é grande coisa como taxa de erros de predição Consegue-se melhor com outros esquemas de predição mais poderosos 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

17 BHT com 2 bits (1) A primeira melhoria consiste em considerar uma BHT com 2 bits por entrada, o que permite codificar 4 estados do preditor em cada entrada Neste esquema deve-se errar duas vezes antes de podermos considerar o facto como uma mudança de predição (de T para N ou de N para T) 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

18 BHT com 2 bits (2) BHT com 2^k entradas e 2 bits/entrada 00,01,10,11 NN, NT, TN, TT ou outra designação qualquer para os 4 estados possíveis do preditor de saltos 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

19 BHT com 2 bits (3) O estado T* significa vários T em sequência, o estado T*N significa vários T seguido de um N, o estado N* significa vários N em sequência, e o estado N*T significa vários N seguido de um T 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

20 BHT com 2 bits (4) Este esquema é implementado no andar ID com contadores de 2 bits, cujos valores identificam os 4 estados do preditor Os contadores são incrementados com um T e decrementados com um N Os contadores saturam a 00 e a 11 T* = 11, T*N = 10, N* = 01 e N*T = de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

21 BHT com 2 bits (5) Quando o endereço alvo do branch é efectivamente determinado (no andar EX, em princípio) o preditor desse salto é actualizado de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

22 BHT com 2 bits (6) Esquema alternativo, com contadores diferentes T* = 11, T*N = 10, N* = 00 e N*T = de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

23 BHT com 2 bits (7) Comparação Nos dois esquemas 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

24 BHT com 2 bits (8) Comparação Esquema 1 Esquema 2 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

25 BHT com 2 bits (9) A situação que conduz a mais erros de predição corresponde a Ts e Ns alternados Quanto maior for a cadeia de Ts ou de Ns seguidos, melhor a precisão da previsão ciclos longos Dimensão típica de uma BHT = 4k entradas Os preditores BHT com 2 bits também se designam por bimodais A experiência mostra que não se ganha quase nada em ir para esquemas de predição BHT com n>2 bits Ambos os esquemas conseguem aproximadamente 85% a 95% de precisão para a maioria das aplicações mas pequenas diferenças de comportamento, como se acabou de verificar no exemplo anterior 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

26 Predição com BHT - resultados Resultados para os processadores bimodais 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

27 Predição com correlação (1) Os preditores anteriores consideram apenas o comportamento da instrução de salto para preverem o seu comportamento futuro Funcionam bem para programas de cálculo em vírgula flutuante baseados na execução de ciclos de código estruturados Funcionam mal para programas com diferentes instruções de salto com comportamento dependente (saltos correlacionados) Saltos correlacionados ocorrem com frequência em programas com variáveis inteiras 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

28 Predição com correlação (2) Exemplo: O 3º branch está correlacionado com o 1º e com o 2º: 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

29 Predição com correlação (3) Um preditor que apenas utilize o comportamento de um único salto não consegue prever a situação anterior Será, então, interessante utilizar o comportamento dos últimos m saltos para aumentar a precisão da previsão Ou seja, em vez de se guardar em memória a história dos resultados mais frequentes da instrução de salto, guarda-se a história exacta dos m saltos mais recentes Utiliza o comportamento dos últimos m saltos para seleccionar uma de 2m tabelas de predição (BHT) de n bits (para um único salto) Obtemos, assim, esquemas de predição (m,n) 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

30 Predição com correlação (4) Os preditores com correlação espacial também se designam por preditores a dois níveis Correlação espacial quer dizer que os últimos saltos podem dar resultados extrapoláveis para o salto que se segue (porque o fluxo do código correlaciona os saltos) Por oposição a correlação temporal, que significa que o resultado de um salto pode constriruir uma boa previsão do comportamento desse salto na próxima vez (foi o que se fez com os preditores BHT) 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

31 Predição com correlação (4) Esquema de predição (1,1) usa informação sobre o último salto para seleccionar entre um par de tabelas de predição de 1 bit Esquema de predição (2,2) usa informação sobre os últimos 2 saltos para seleccionar entre uma de 4 tabelas de predição de 2 bits Esquema de predição (0,2) é o esquema de predição sem correlação com tabela de predição de 2 bits O comportamentos dos últimos m saltos é guardado num registo de história de saltos (BHR ou Branch History Register ) O BHR é geralmente implementado com um registo de deslocamento de m bits 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

32 Predição com correlação (5) Preditor (2,2) Ideia: T/N dos 2 saltos anteriores é relacionado com o comportamento do salto actual (bem como com a história desse salto) Só actualiza a predição na tabela seleccionada 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

33 Predição com correlação (6) Preditor (2,2): implementação 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

34 Predição com correlação (7) Exemplo para um preditor (1,1) Consideremos o seguinte código e respectiva sequência em Assembly, supondo que d está em R1 if (d==0) d=1; if (d==1)... BNEZ R1,L1 ; branch b1 (d!=0) DADDIU R1,R0,#1 ; d==0, portanto d=1 L1: DADDIU R3,R1,#-1 BNEZ R3,L2 ; branch b2 (d!=1)... L2: 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

35 Predição com correlação (8) Exemplo para um preditor (1,1) Vamos ver como se comporta esta sequência para valores de d = 0, 1 e 2 Os branches são b1 e b2 Valor inicial de d d==0? b1 Valor de d antes de b2 d==1? 0 Sim NT 1 Sim NT 1 Não T 1 Sim NT 2 Não T 2 Não T b2 b1 b2 BNEZ R1,L1 ; branch b1 (d!=0) DADDIU R1,R0,#1 ; d==0, portanto d=1 L1: DADDIU R3,R1,#-1 BNEZ R3,L2 ; branch b2 (d!=1)... L2: 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

36 Predição com correlação (9) Um preditor BHT com 1 bit inicializado a NT teria o seguinte comportamento admitindo d=2,0,2,0 admitindo que a sequência é executada múltiplas vezes ignorando outros saltos d=? Predição de b1 O que b1 faz Nova predição de b1 Predição de b2 O que b2 faz Nova predição de b2 2 NT T T NT T T 0 T NT NT T NT NT 2 NT T T NT T T 0 T NT NT T NT NT Todos os saltos incorrectamente previstos! 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

37 Predição com correlação (10) Um preditor com correlação do tipo (1,1) usa o último salto para escolher entre dois preditores de 1 bit X/Y quer dizer X no caso de última predição ter sido NT e Y no caso de ter sido T d=? Predição de b1 O que b1 faz Nova predição de b1 Predição de b2 O que b2 faz Nova predição de b2 2 NT/NT T T/NT NT/NT T NT/T 0 T/NT NT T/NT NT/T NT NT/T 2 T/NT T T/NT NT/T T NT/T 0 T/NT NT T/NT NT/T NT NT/T Predições iniciais a verde Erros de predição a vermelho A bold está a última acção Só há dois erros (iniciais) na predição 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

38 Precisões dos diversos esquemas 4096 entradas, BHT com 2 bits Nº de entradas ilimitado, BHT com 2 bits 1024 entradas, com correl., esquema (2,2) 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

39 Limites dos preditores BHT (1) Andares do superpipeline de fetch das instruções do UltraSPARC-III (emissão em ordem, superescalar de 4 vias, 750 MHz, ano 2000) Conhecido o endereço alvo do branch Conhecido o sentido do Branch (T/N) Geração do PC/Mux Fetch da instrução, andar 1 Fetch da instrução, andar 2 Cálculo do endereço do branch/começa a desc Termina a descodificação Encaminha instruções para as Unidades Funcionais Lê a Register File Execução inteira + 6 andares do pipeline de execução 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

40 Limites dos preditores BHT (2) Penalização devida a um salto que é tomado devidamente Penalização devida a um salto que é tomado indevidamente Geração do PC/Mux Fetch da instrução, andar 1 Fetch da instrução, andar 2 Cálculo do endereço do branch/começa a desc Termina a descodificação Encaminha instruções para as Unidades Funcionai Lê a Register File Execução inteira + 6 andares do pipeline de execução Será que podemos melhorar esta situação? 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

41 Branch Target Buffers (1) Consideremos um pipeline mais simples: o de 5 andares do MIPS Com um esquema que usa um Branch Prediction Buffer (BPB), só no fim do andar ID é que temos disponíveis todos os elementos para podermos prever o valor a carregar no PC e adquirir a instrução com esse endereço no andar IF O BPB é acedido no ID No fim do ID conhecemos o endereço alvo do branch (o branch foi descodificado neste andar) o endereço da instrução que se segue ao branch (que veio do andar IF) o resultado da predição (valor a carregar no PC) 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

42 Branch Target Buffers (2) Mas há uma solução alternativa que usa um BTB ( Branch Target Buffer ) e que vai permitir obter a informação necessária no andar IF 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

43 Branch Target Buffers (3) Utilizam-se os p bits menos significativos do endereço em PC para ver se o endereço existe no BTB Se existe, houve acerto ( hit ) Se não existe, houve falta ( miss ) A terminologia é emprestada das caches (e o hardware também) 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

44 Branch Target Buffers (4) Na entrada do BTB com endereço p estão contidos Os (n-)p bits restantes do endereço contido no PC O endereço de salto contido no branch Os bits de predição BHT 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

45 Branch Target Buffers (5) Com um esquema que usa um Branch Target Buffer, no fim do andar IF já temos disponíveis todos os elementos para podermos prever o valor a carregar no PC O BTB é acedido no IF, usando o endereço do salto para indexar o buffer Se houver um hit, sabemos o endereço da instrução para onde se previu saltar (o endereço alvo) Isto um ciclo de relógio antes, comparativamente com um esquema que usa um Branch Prediction Buffer Ou seja, prevemos o endereço da instrução que se segue ao salto e enviamo-lo para o PC antes de descodificar a instrução no andar ID 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

46 Branch Target Buffers (6) IF Envia PC para memória e para o BTB N Hit? S ID N Branch tomado? S Novo PC é o PC previsto Instrução normal para execução N Branch tomado? S EX Entra endereço do branch e endereço alvo no BTB Branch previsto incorrectamente. Elimina instrução. Recomeça fetch. Retira entrada do BTB Branch previsto correctamente. Continua exec. sem stalls 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13

47 Próxima aula Arquitecturas superescalares 21 de Abril de 2005 Arquitectura de Computadores 2004/ Aula 13