Desempenho. Universidade de Brasília. Objetivo. Introdução. Organização e Arquitetura de Computadores

Transcrição

1 Universidade de Brasília Desempenho Organização e Arquitetura de Computadores Objetivo Introduzir o conceito de desempenho em arquitetura de computadores, que fatores são determinantes para o desempenho, como medir o desempenho e mostrar que o de execução é a medida mais confiável. Introdução Este sistema P500 multi-processado distribuído com memória cache local interleaved apresenta um desempenho de 500 MIPS, muito superior ao modelo XQC3 mono-processado com arquitetura superescalar superpipeline e desempenho de 300 MFLOPS a 1.2 CPI, depois do speedup de 1.5 obtido com a duplicação da freqüência de clock. 1

2 Desempenho Medir, fazer relatório, resumir. Fazer opções inteligentes. Ver através dos exageros de marketing. Chave para o entendimento das motivações da organização básica dos sistemas. Desempenho Porque determinada arquitetura é melhor que outras para programas distintos? Quais fatores de desempenho do sistema estão relacionados com o hardware? i.e., necessito de uma nova máquina ou de um novo sistema operacional? Como o conjunto de instruções da máquina afeta o desempenho? Definindo desempenho Qual destas aeronaves apresenta o melhor desempenho? Aeronave Passageiros Autonomia (km) Velocidade (km/h) Boeing Boeing BAC/Sud Concorde Douglas DC Quão rápido é o Concorde comparado ao 747? Quão maior é o 747 comparado ao Douglas DC-8? 2

3 Desempenho de computadores:,,,... Tempo de resposta (latência) Quanto demora para começar a executar uma tarefa? Quanto demora para executar uma tarefa? Quanto demora uma pesquisa num banco de dados? Desempenho de computadores:,, Throughput (fluxo, quantidade total de trabalho realizado num determinado ). Quantas tarefas a máquina pode executar simultaneamente? Qual é o médio de execução? Quanto trabalho é realizado? Exemplo (throughput e de resposta) As seguintes alterações num sistema aumentam o throughput, diminuem o de resposta ou ambos? Se atualizamos (upgrade) a máquina com um novo processador mais rápido. Se adicionamos uma nova máquina num sistema que utiliza múltiplos processadores para tarefas distintas. 3

4 4 X X execução de desempenho 1 = Definição de desempenho Y X Y X Y X execução de execução de execução de execução de desempenho desempenho 1 1 < > > Definição de desempenho n execução de execução de desempenho desempenho n desempenho desempenho X Y Y X Y X = = = Definição de desempenho

5 Exemplo (desempenho relativo) Problema: Se a máquina A executa um programa em 20 s e a máquina B executa o mesmo programa em 25 s, quanto A é mais rápida do que B? Exemplo (desempenho relativo) Problema: Se a máquina A executa um programa em 20 segundos e a máquina B executa o mesmo programa em 25segundos, quanto A é mais rápida do que B? desempenho desempenho de execução de execução B A A B = n 25 = = 1,25 = 25% 20 Tempo de execução Tempo decorrido (Elapsed Time). Tempo de CPU (CPU Time). Nosso enfoque: de CPU de usuário (user CPU time). 5

6 Tempo decorrido (Elapsed Time). Computa tudo (acessos a disco, memória, E/S, etc..) Valor útil mas na maioria das vezes não apropriado para fins de comparação. Tempo de CPU (CPU Time). Não contabiliza E/S ou despendido com outros programas. Pode ser subdividido em de sistema (system time) e de usuário (user time). Tempo de CPU de usuário (user CPU time). Nosso enfoque: Tempo despendido na execução das linhas de código de nosso programa. 6

7 Ciclos de Clock Ao invés de se considerar de execução em segundos, muitas vezes se utiliza ciclos: segundos programa = ciclos segundos programa ciclo Pulsos de Clock indicam quando começam as atividades (uma abstração): Ciclos de Clock Tempo de ciclo = entre pulsos = segundos por ciclo Freqüência de clock = ciclos por segundo 1 Hz = 1 ciclo/seg Um clock de 500 Mhz tem um ciclo de 1 = = 2 çs Como melhorar o desempenho TempoCPU programa = cicloscpu Tempo de ciclo programa TempoCPU cicloscpu/programa = programa freqüênciadeclock 7

8 Como melhorar o desempenho segundos programa = ciclos segundos programa ciclo Logo, para melhorar o desempenho, devemos: o número de ciclos necessários por programa ou o ciclo de clock ou, dito de outra forma, a freqüência de clock. Quantos ciclos são necessários para um programa? Podemos assumir que o número de ciclos é igual ao número de instruções? 1a instrução 2a instrução 3a instrução 4a 5a 6a... Quantos ciclos são necessários para um programa? Esta suposição é incorreta, instruções diferentes consomem quantidades de diferentes em máquinas diferentes. Por quê? São instruções de máquina e não linhas de código C. 8

9 Número diferente de ciclos para instruções diferentes. Multiplicação consome mais que adição. Operações de ponto flutuante demoram mais que operações sobre inteiros. Acessar memórias demora mais que acessar registros. Ponto importante: mudança no de ciclo muitas vezes altera o número de ciclos necessários para várias instruções. Exemplo Nosso programa favorito demora 10 segundos para executar no computador A que tem um clock de 400 MHz. Estamos tentando ajudar um projetista de computadores a construir uma nova máquina B que executa nosso programa em 6 segundos. O projetista pode utilizar novas tecnologias (talvez mais caras) para aumentar substancialmente a freqüência de relógio, mas informounos que este aumento afeta o resto do projeto da CPU fazendo com que a máquina B necessite 1.2 vezes mais ciclos de clock que a máquina A para o mesmo programa. Qual freqüência de clock o projetista deve utilizar? Agora que entendemos ciclos Um programa requer: um certo número de instruções (instruções de máquina) um certo número de ciclos um certo número de segundos (ou fração) 9

10 Agora que entendemos ciclos Possuímos um vocabulário que relaciona estas grandezas: Tempo de ciclo (segundos por ciclo). Freqüência de clock (ciclos por segundo). CPI (ciclos por instrução). Uma aplicação intensiva de ponto flutuante tem um elevado CPI. MIPS (milhões de instruções por segundo). Elevado para um programa que utiliza instruções simples. Desempenho Desempenho é determinado por de execução. Desempenho Alguma das outras variáveis mede desempenho? n o de ciclos para executar um programa? n o de instruções no programa? n o de ciclos por segundo? n o médio de ciclos por instrução? n o médio de instruções por segundo? 10

11 Desempenho Engano comum: Pensar numa das variáveis como indicativa de desempenho quando na realidade não é. Exemplo: CPI Suponha duas implementações da mesma arquitetura (Instruction Set Architecture, ISA). Para um determinado programa, a máquina A tem um ciclo de clock de 1 ns e um CPI de 2.0 a máquina B tem um ciclo de clock de 2 ns e um CPI de 1.2 Qual máquina é mais rápida para este programa e quanto? Exemplo: CPI Se duas máquinas têm a mesma ISA, qual das grandezas: Freqüência de clock, CPI, Tempo de execução, N o de instruções, MIPS é sempre idêntica? 11

12 Exemplo: n o de instruções Um projetista de compilador está decidindo entre duas seqüências de código para uma determinada máquina. O hardware implementado oferece três classes diferentes de instruções: classe A, classe B e classe C, que requerem um, dois e três ciclos, respectivamente. A primeira seqüência de código tem o seguinte mix de instruções: 2 de A, 1 de B e 2 de C. A segunda seqüência tem outro mix de instruções: 4 de A, 1 de B e 1 de C. Qual seqüência executa o maior n o de instruções? Qual seqüência é mais rápida? Qual é o CPI para cada seqüência? Exemplo: MIPS Dois compiladores diferentes são testados para uma máquina de 500MHz, com três classes distintas de instruções: classe A, classe B e classe C, que requerem um, dois e três ciclos, respectivamente. Ambos compiladores são utilizados para produzirem código para uma grande aplicação. O primeiro compilador gera o código com 5 bilhões de instruções da classe A, 1 bilhão de instruções da classe B e 1 bilhão de instruções da classe C. O segundo compilador gera o código com 10 bilhões de instruções da classe A, 1 bilhão de instruções da classe B e 1 bilhão de instruções da classe C. Qual seqüência é mais rápida de acordo com de execução? Qual seqüência de código é mais rápida em MIPS? Benchmarks Desempenho é melhor avaliado com uma aplicação real. Use programas do tipo da utilização da máquina. Ou, da mesma classe de aplicações, i.e., compiladores/editores, aplicações científicas, gráficos, etc.. 12

13 Benchmarks Pequenos benchmarks bom para arquitetos e projetistas fáceis de padronizar podem ser mal empregados SPEC (System Performance Evaluation Cooperative) convergência para um conjunto programa e entradas reais ainda podem ser mal empregados (Intel s other bug) indicador válido de desempenho (e tecnologia de compiladores) Benchmarks Benchmarks são programas reais que não fazem nada a não ser medir o desempenho de sistemas computacionais. Normalmente avaliam determinada característica: ponto flutuante, velocidade de I/O, speedup para uma classe restrita de problemas, etc.. Benchmark suite. Benhmarks típicos: pequenas aplicações desenvolvidas para determinada característica e que ao mesmo introduzem alguma realidade na computação. Benchmarks Linpack Livermore Loops e PERFECT Club são pequenas aplicações extraídas de uma aplicação completa. Núcleos (kernels). Synthetic benchmarks: quando a portabilidade e facilidade de execução são mais importantes. Pequenos programas que aproximam o comportamento da aplicação. Imitam a freqüência das instruções e as estruturas de dados da aplicação: Whetstone (1976, Curnow e Wichmann). 13

14 Benchmarks TP1 e Debit-Credit (1985, Datamation). TP1 mede desempenho de bases de dados relacionais. Mede o throughput em transações por segundo e não em MIPS, MFLOPS, etc.. É um exemplo de benchmark que mede de resposta e throughput ao invés de speedup. UNIX Today! Benchmark para workstation inclui ponto flutuante, inteiros, disk I/O, memória e cache e desempenho de ambiente de desenvolvimento para sistemas UNIX. Sistema operacional, compiladores, bibliotecas C, X- Windows, redes (TCP/IP, Ethernet,..) Benchmarks Ghrafstone. Conjunto de 122 testes para medir desempenho gráfico de sistemas (Workstation Laboratories of Irving, Texas). Picture Level. Suite para estações gráficas proposta pelo consórcio de 12 empresas (Graphics Performance Characterization Group - Alliant, DEC, DuPont Pixel Systems, Evans & Suterland, Hewlett-Packard, IBM, Intergraph, Megatek, Prime, Silicon Graphics, Sun e Tektronix). Benchmarks SPEC (System Performance Evaluation Cooperative Effort). Orientado para workstations, criado por um consórcio de vendedores de computadores (AT&T, Bull, CDC, Compaq, Data General, DEC, Dupont, Fujitsu, Hewlett-Packard, IBM, Intel, Intergraph, MIPS, Motorola, NCR, Siemens, Silicon Graphics, Solbourne, Stardent, Sun e Unisys) em Dez aplicações: 1 doduc simulação Monte Carlo 2 eqntott minimização de funções de chaveamento 3 espresso simulador de Program Logic Array 4 fpppp solução das equações de Maxwell 5 gcc compilador C (GNU) 6 li interpretador Lisp 7 matrix300 algoritmos de multiplicação de matrizes 8 nasa6 suite NASA/Ames do Ames Research Center 9 spice 2g6 simulador de circuitos analógicos 10 tomcatv gerador de malhas (altamente) vetorizável 14

15 SPEC Compilador otimizado e desempenho 600 tio r a e c n a rm r fo e p C E P S gcc espresso spice doduc nasa7 li eqntott matrix300 fpppp tomcatv Benchmark Compiler Enhanced compiler SPEC 95 Benchmark go m88ksim gcc compress li ijpeg perl vortex tomcatv swim su2cor hydro2d mgrid applu trub3d apsi fpppp Description Artificial intelligence; plays the game of Go Motorola 88k chip simulator; runs test program The Gnu C compiler generating SPARC code Compresses and decompresses file in memory Lisp interpreter Graphic compression and decompression Manipulates strings and prime numbers in the special-purpose programming language Perl A database program A mesh generation program Shallow water model with 513 x 513 grid quantum physics; Monte Carlo simulation Astrophysics; Hydrodynamic Naiver Stokes equations Multigrid solver in 3-D potential field Parabolic/elliptic partial differential equations Simulates isotropic, homogeneous turbulence in a cube Solves problems regarding temperature, wind velocity, and distribution of pollutant Quantum chemistry SPEC 95 Dobrando a freqüência de clock dobra o desempenho? Pode uma máquina com freqüência de clock menor ter melhor desempenho? 15

16 10 9 SPEC 95 t in C E P S Dobrando a freqüência de clock dobra o desempenho? Pode uma máquina com freqüência de clock menor ter melhor desempenho? Clock rate (MHz) Pentium Pentium Pro 8 7 fp C E P S Clock rate (MHz) Pentium Pentium Pro Serial Whetstone. Benchmark sintético para computação numérica. Originalmente desenvolvido em ALGOL-60 para exercitar 42 declarações básicas. Composto de 11 módulos para testar operações matemáticas elementares, processamento de arrays, aritmética de inteiros, funções trigonométricas, chamadas de procedimentos, cálculo em ponto flutuante e. desvios condicionais. j = 1; for (i = 1;i <= N4; i + = 1) { if (j = 1) j = 2; else j = 3; if (j > 2) j = 0; else j = 1; if (j < 1) j = 1; else j = 0; } Serial Dhrystone. Benchmark sintético (Weicker, 1984) para testar o desempenho de declarações Ada, operações e acesso a dados. Foi convertido para outras linguagens como o C, com o seguinte mix: 53% declarações de atribuição 32% declarações de controle 15% chamadas de função/procedimentos Sieve of (crivo de) Eratosthenes. (Gilbreath, 1981) medida de desempenho de referências à memória, declarações de controle e operações de I/O simples. Computa os 100 primeiros números primos com o antigo algoritmo. 16

17 Serial Linpack. Tornou-se uma referência de benchmarck para computação numérica. Linpack é uma coleção de programas de álgebra linear para resolver sistemas de equações lineares e outros problemas de álgebra linear. O benchmarck é uma pequena seção do código completo, chamada kernel, contendo os loops mais internos. Está distante de uma aplicação real. Executa operações sobre matrizes densas assimétricas 100x100, contendo elementos de 64 bits gerados aleatóriamente. O benchmarck executa 2n 3 /3 + 2n 2 operações, onde n é a ordem da matriz. Para n = 100, p. ex., são realizadas operações. Lei de Amdahl Tempoexecuçãomelhorado = Tempoexecuçãoafetado Quantidademelhoria + Tempoexecuçãonãoafetado Lei de Amdahl Exemplo: Suponha que um programa executa em 100 segundos em uma máquina com as operações de multiplicação responsáveis por 80 segundos deste. Quanto devemos melhorar a velocidade das multiplicações se quisermos que o programa execute 4 vezes mais rápido? e 5 vezes mais rápido? 17

18 Lei de Amdahl Desempenho depois Speedup = Desempenhoantes Speedup = Tempoexecuçãoantes Tempoexecuçãodepois Lei de Amdahl Exemplo Suponha que melhoremos uma máquina aumentando em 5 vezes a velocidade das operações de ponto flutuante. Se o de execução de um benchmark antes da melhoria é de 10 segundos, qual será o speedup se a metade dos 10s é consumida com instruções de ponto flutuante? Conclusões Desempenho é específico para um programa em particular. Tempo total de execução é um parâmetro consistente para medida de desempenho. 18

19 Conclusões Para uma dada arquitetura, aumento no desempenho é decorrência de: aumento na freqüência de clock (sem efeitos adversos em CPI) melhorias na organização do processador que diminuem CPI melhorias nos compiladores que diminuem CPI e/ou número de instruções. Conclusão Armadilhas: Esperar que uma melhoria em um aspecto do desempenho da máquina afete o desempenho total. Não acreditar em tudo que lê ou ouve falar! Leia com cuidado! Referências Patterson, D. A., Hennessy, J. L., (1998) Computer Organization and Design: The Hardware/Software Interface. Cap 2. Morgan Kaufmann. 19