Medidas de desempenho de CPUs. Uma introdução breve

Transcrição

1 Medidas de desempenho de CPUs Uma introdução breve

2 Fontes de informação Computer Organization & Design (D.A. Patterson + John L. Hennessey) Cap. 2 IEEE Computer IEEE Design & Test of Computers IEEE Transactions on Computers Communications of the ACM 2

3 Medir o desempenho: Como e para quê? Medidas objectivas e reprodutíveis Tomar opções informadas Interpretar as especificações do equipamento e as afirmações dos vendedores Chave para as opções básicas da arquitectura dos sistemas Porque é que certos sistemas são melhores que outros para certos programas? Que factores de desempenho dependem do hardware? 3

4 Que avião tem o melhor desempenho? Modelo Capacidade Alcance (mi) Velocidade (mph) Débito (pass x mph) Boeing Boeing Concorde DC Não existe uma medida única de desempenho: a medida a escolher depende dos objectivos de quem mede (e pode ser uma combinação pesada de vários factores). 4

5 Desempenho de computadores: TEMPO Tempo de resposta (latência) Quanto demora a execução de uma tarefa? Débito Quantas tarefas podem ser executadas simultâneamente? Qual é a taxa média de execução? Q: "Upgrade" com novo processador que factor aumenta? Q: E acrescentar mais um computador? 5

6 Tempo de execução Tempo decorrido contabiliza tudo (acessos a memória e disco, I/O, etc.) fiável, mas não é muito útil para efeitos de comparação Tempo de CPU não contabiliza I/O ou o tempo de execução de outros progs. duas componentes: tempo de utilizador e tempo de sistema. Tempo de CPU do utilizador tempo de execução do código explicitamente incluído no programa (ignora efeitos do sistema operativo) usado como critério principal na nossa análise introdutória 6

7 Definição de desempenho Para um dado programa a correr na máquina X desempenho X = 1 / tempo de execução X A máquina X é n vezes mais rápida que Y: desempenho x /desempenho Y = n Q: Se a máquina A corre um programa em 10s e a máquina B corre o mesmo programa em 15s, quantas vezes é A mais rápida que B? 7

8 Ciclos de relógio O tempo de execução pode ser expresso em ciclos de relógio. segundos ciclos segundos = programa programa ciclo tempo frequência de relógio = ciclos por segundo (1 Hz = 1 cycle/sec). Um relógio de 200 MHz tem um ciclo de = 5 ns 8

9 Quantos ciclos gasta um programa? Será # de ciclos = # de instruções? 1st instruction 2nd instruction 3rd instruction 4th 5th 6th... tempo Esta suposição é INCORRECTA: instruções diferentes demoram tempos diferentes em máquinas diferentes. Porquê? 9

10 Número de ciclos diferentes para instruções diferentes Multiplicação demora mais que adição Operações de vírgula flutuante são mais demoradas que operações inteiras Acesso a memória mais lento que acesso a registos. Importante: mudar o período de relógio leva muitas vezes a mudanças no número de ciclos necessários para executar uma dada instrução. 10

11 Exemplo O nosso programa favorito demora 10 s no computador A com uma frequência de 400 MHz. Procura se construir uma máquina B que permita executar o programa em 6 s. O projectista da nova máquina pode usar tecnologia mais recente para aumentar a frequência, mas informa nos que esse aumento afectará a restante arquitectura, levando a máquina B a gastar 1.2 vezes mais ciclos de relógio para executar o nosso programa. Que frequência de relógio deve ter a máquina B? 11

12 Métricas e a sua relação Um dado programa toma (gasta) um número de instruções (instruções máquina) um número de ciclos um número de segundos Relação entre estas quantidades: N CPI T = = N CPI f programa T ciclo N: número de instruções EXECUTADAS CPI: número (médio) de ciclos por instrução 12

13 Desempenho Desempenho é determinado pelo tempo de execução. Algum destes parâmetros é igual ao desempenho? # de ciclos que demora a execução de um programa? # de instruções de um programa? # de ciclos de relógio por segundo? # médio de ciclos por instrução? # médio de instruções por segundo? Erro frequente: pensar que algum destes parâmetros é indicativo do desempenho quando realmente não é. 13

14 Exemplo: CPI Suponham que temos duas implementações do mesmo conjunto de instruções. Para o mesmo programa: máquina A tem um período de 10 ns e um CPI de 2.0 máquina B tem um período de 20 ns e um CPI de 1.2 Que máquina é mais rápida para este programa e por quanto? Para duas máquinas com o mesmo conjunto de instruções que parâmetros são sempre iguais? 14

15 Exemplo: número de instruções O autor de um compilador está a tentar decidir entre duas sequências de código para um certo computador. A implementação do CPU divide as instruções em três classes diferentes: Classe A, Classe B, e Classe C, que requerem 1, 2, e 3 ciclos, respectivamente. A primeira sequência tem 5 instruções: 2(A)1(B) 2(C). A segunda sequência tem 6 instruções: 4(A)1(B) 1(C). Qual é a sequência mais rápida? Por quanto? Qual é o CPI de cada uma? 15

16 Exemplo: MIPS Dois compiladores diferentes estão ser testados numa máquina de 100 MHz com três classes diferentes de instruções: classe A, classe B, e classe C, que requerem 1, 2, e 3 ciclos, respectivamente. Ambos os compiladores são usados para gerar código de uma aplicação grande. O código gerado pelo primeiro usa 5 milhões de instruções A, 1 milhão de instruções B, e 1 milhão de instruções C. O código gerado pelo segundo usa 10 milhões de instruções A, 1 milhão de instruções B, e 1 milhão de instruções C. Que código é mais rápido de acordo com o tempo de execução? Que código é mais rápido pelo parâmetro MIPS? 16

17 Benchmarks Avaliação do desempenho deve ser feita pela execução de programas realistas Alternativa: benchmarks pequenos bom para arquitectos e projectistas fácil de normalizar podem ser abusados SPEC (System Performance Evaluation Cooperative) companhias acordaram um conjunto de programas reais e dados de entrada (e procedimentos de medida) pode ser susceptível a alguns abusos indicador importante de desempenho (e tecnologia de compilação) 17

18 SPEC SPEC performance ratio gcc espresso spice doduc nasa7 li eqntott matrix300 fpppp tomcatv Benchmark Compiler Enhanced compiler 18

19 SPEC 95 Benchmark Description go Artificial intelligence; plays the game of Go m88ksim Motorola 88k chip simulator; runs test program gcc The Gnu C compiler generating SPARC code compress Compresses and decompresses file in memory li Lisp interpreter ijpeg Graphic compression and decompression perl Manipulates strings and prime numbers in the special purpose programming language Perl vortex A database program tomcatv A mesh generation program swim Shallow water model with 513 x 513 grid su2cor quantum physics; Monte Carlo simulation hydro2d Astrophysics; Hydrodynamic Naiver Stokes equations mgrid Multigrid solver in 3 D potential field applu Parabolic/elliptic partial differential equations trub3d Simulates isotropic, homogeneous turbulence in a cube apsi Solves problems regarding temperature, wind velocity, and distribution of pollutant fpppp Quantum chemistry wave5 Plasma physics; electromagnetic particle simulation 19

20 SPEC 95 Duplicar a frequência duplica o desempenho? Pode uma máquina com um relógio mais lento ter um desempenho melhor? SPECint SPECfp Clock rate (MHz) Pentium Clock rate (MHz) Pentium Pentium Pro Pentium Pro 20

21 Lei de Amdahl tempo de execução após melhoria = tempo de execução da parte não afectada + (tempo de execução da parte afectada / melhoria) Exemplo: Um programa gasta 100 s a executar, sendo multiplicações responsáveis por 80 s desse tempo. Em quanto deve ser melhorada a multiplicação para o programa ser 4 vezes mais rápido? E para ser 5 vezes mais rápido? Princípio: Tornar o caso mais comum mais rápido. 21

22 Conclusões Desempenho é uma característica específica de um dado programa. Tempo total de execução é uma medida consistente do desempenho. Para uma dada arquitectura, as melhorias de desempenho provêm de: aumento da frequência (sem efeito negativo sobre CPI) melhorias de organização que baixem o CPI melhorias do compilador para baixar CPI e/ou número de instruções Erro: esperar que melhorias de um aspecto do desempenho afectem o desempenho total (da mesma maneira). Não acreditar em tudo o que se lê! Ler com cuidado! 22