Medição do Desempenho

Tamanho: px

Começar a partir da página:

Download "Medição do Desempenho"

Vinícius Balsemão Braga
10 Há anos
Visualizações:

1 Medição do Desempenho Benchmarks AC1 Medição do Desempenho 1

2 Medição do Desempenho IDEAL: obter um número que caracterize completamente o desempenho da máquina IMPOSSÍVEL: complexidade dos sistemas grande variedade de aplicações grande variedade de condições de utilização CUIDADO: os números fornecidos pelos vendedores podem ser enganadores. em que condições foram conseguidos? reflectem a carga real que o utilizador vai impor ao sistema? AC1 Medição do Desempenho 2

utilização CUIDADO: os números fornecidos pelos vendedores podem ser enganadores.

3 Medição do Desempenho Porquê medir o desempenho? escolha do hardware mais apropriado escolha do software (ex. compilador) mais apropriado escolha do algoritmo mais eficiente identificação de ineficiências num sistema (hw, sw) selecção de alternativas de desenho qual o instruction set mais apropriado selecção da organização do processador selecção da organização da memória... AC1 Medição do Desempenho 3

compilador) mais apropriado escolha do algoritmo mais eficiente identificação de ineficiências num

4 Definição de Desempenho Avião Capacidade Alcance (milhas) Velocidade (m.p.h) Boeing Boeing Concorde Qual o melhor avião? AC1 Medição do Desempenho 4

h) Boeing 777 375 4630 610 Boeing 747 470 4150

5 Definição de Desempenho Utilizador minimização do tempo de execução (ou resposta) Centro de Computação maximização do débito (throughput) Desempenho = 1 T exec Desempenho relativo (ou ganho) = Desempenho Desempenho A B AC1 Medição do Desempenho 5

débito (throughput) Desempenho = 1 T exec Desempenho relativo

6 Medição do Desempenho PROBLEMA: Como garantir que a carga (workload) a que a máquina é sujeita durante a medição é a mesma carga a que o utilizador normalmente a sujeita? São utilizados conjuntos de programas, designados por benchmarks, que se espera que reflictam a workload da maior parte dos utilizadores. PROBLEMA: Como garantir que vendedores e fabricantes não manipulam os testes no sentido de melhorarem os resultados? Os conjuntos de testes com maior credibilidade são definidos por comissões independentes, que especificam rigorosamente as condições em que estes devem ser realizados e a forma como os resultados devem ser documentados. AC1 Medição do Desempenho 6

PROBLEMA: Como garantir que vendedores e fabricantes não manipulam os testes no sentido de melhorarem os resultados?

7 Tipos de Benchmarks Synthetic Benchmarks pequenos programas desenvolvidos especificamente para medir alguma característica específica da máquina. Normalmente não realizam nenhuma tarefa específica. Desvantagens 1. Não reflectem a carga que um utilizador aplica à sua máquina; 2. Programas pequenos que utilizam apenas a cache; 3. Alguns compiladores geram código optimizado para estes testes. Estas optimizações não podem depois ser usadas em aplicações reais. Vantagens 1. Na fase inicial de desenho de um sistema estes testes são muito úteis, pois são fáceis de compilar e mesmo de simular. Exemplos: Dhrystone (int) e Whetstone (FP) AC1 Medição do Desempenho 7

Programas pequenos que utilizam apenas a cache; 3. Alguns compiladores geram código optimizado para estes testes.

8 Dhrystone (inteiros) Teste sintético que contem uma mistura representativa de operações inteiras: invocação de procedimentos utilização de apontadores, inteiros e caracteres atribuições e cálculo de expressões Desenvolvida em 1984 por Reinhold Weicker em Ada. Melhorada e convertida para C em 1989 por Weicker e Richardson Resultados em Dhrystone loops per second Resultados em MIPS (Milhões de instruções por segundo) não podem ser usados para comparar diferentes arquitecturas (ex. CISC vs. RISC) Muito divulgada, mas muitos compiladores incluem optimizações específicas para este teste AC1 Medição do Desempenho 8

Melhorada e convertida para C em 1989 por Weicker e Richardson Resultados em Dhrystone loops per second Resultados em MIPS (Milhões de instruções por

9 Whetstone (vírgula flutuante) Teste sintético que contem uma mistura representativa de operações em vírgula flutuante: abs, sqrt, exp, alog, sin, cos, atan, Desenvolvida em Algol60, em 1972 Resultados em MWIPS (Milhões de Whetstone instruções por segundo) ou em MFLOPS (Milhões de operações em vírgula flutuante por segundo) Muito divulgada, mas muitos compiladores incluem optimizações específicas para este teste AC1 Medição do Desempenho 9

de Whetstone instruções por segundo) ou em MFLOPS (Milhões de operações em vírgula flutuante por segundo)

10 Medição do Desempenho - Resultados SiSoftware Sandra Intel Core Duo 2.5 GHz AMD Athlon FX GHz Intel Pentium GHz Intel Pentium III 1.2 GHz Whetstone isse2 (MFLOPS) Dhrystone ALU (MIPS) AC1 Medição do Desempenho 10

6 GHz Intel Pentium4 2.66 GHz Intel Pentium III 1.

11 Tipos de Benchmarks Conjuntos de aplicações reais aplicações seleccionadas por representarem cargas típicas para um grande número de utilizadores Desvantagens 1. Difícil seleccionar conjuntos de aplicações que garantidamente representem uma grande maioria de utilizadores; 2. Estes testes levam muito tempo a executar e as condições de teste e relatório de resultados são geralmente muito exigentes; Vantagens 1. O utilizador pode geralmente confiar que os resultados reflectem com algum grau de precisão o desempenho a esperar da sua máquina; 2. Tratando-se de aplicações reais torna-se difícil aos fabricantes introduzirem características especiais no hardware ou nos compiladores para inflaccionar os resultados. Exemplos: SPEC Benchmarks AC1 Medição do Desempenho 11

Estes testes levam muito tempo a executar e as condições de teste e relatório de resultados são geralmente muito exigentes; Vantagens 1.

12 SPEC - Standard Performance Evaluation Corporation A SPEC ( é uma associação criada em 1989 por um grupo de companhias para normalizar: o conjunto de testes a que as máquinas devem ser submetidas; as condições em que estes testes devem ser realizados; a forma como os resultados devem ser documentados Benchmark SPEC WEB 2005 SPEC HPC 2002 SPEC JBB 2005 SPEC SFS 97_R1 SPEC MAIL 2001 SPEC CPU 2006 Descrição Servidores WEB High Performance Computing Java Virtual Machine Sistem File Server Servidores de Processador memória - compilador AC1 Medição do Desempenho 12

condições em que estes testes devem ser realizados; a forma como os resultados devem ser documentados Benchmark SPEC WEB 2005 SPEC HPC 2002 SPEC

13 SPEC CPU 2006 Conjunto de programas cuidadosamente seleccionados para representarem a carga que um utilizador regular impõem à sua máquina. Inclui vários testes dos quais se destacam: Benchmark SPECint_base2006 SPECint2006 SPECfp_base2006 SPECfp2006 Descrição Programas com operações em inteiros, compilados sem optimizações. Programas com operações em inteiros, compilados com optimizações. Programas com operações em vírgula flutuante, compilados sem optimizações. Programas com operações em vírgula flutuante, compilados com optimizações. AC1 Medição do Desempenho 13

operações em inteiros, compilados sem optimizações. Programas com operações em inteiros, compilados com optimizações.

14 Teste 445.gobmk 464.h264ref 403.gcc 429.mcf 458.sjeng 471.omnetpp 456.hmmer 400.perlbench 462.libquantum 473.astar 401.bzip2 483.xalancbmk SPECint2006 HLL Descrição C Artificial Intelligence C Vídeo Compression C C Programming Language Compiler C Combinatorial Optimization C Game Playing: Chess C++ Discrete Event Simulation C Search Gene Sequence C PERL Programming Language C Physics: Quantum Computing C++ Path finding algorithms C Compression C++ XML processing 12 programas AC1 Medição do Desempenho 14

xalancbmk SPECint2006 HLL Descrição C Artificial Intelligence C Vídeo Compression C C Programming Language Compiler C

15 SPECfp2006 Conjunto de 17 aplicações incluindo: dinâmica de fluidos; química quântica; dinâmica molecular; simulação da relatividade geral; análise de elementos finitos; ray tracing; metereologia; reconhecimento de discursos. AC1 Medição do Desempenho 15

relatividade geral; análise de elementos finitos; ray tracing;

16 SPEC CPU2006 Como calcular os índices SPECint2006 e SPECfp2006? 1. O tempo de execução de cada teste numa máquina de referência (SUN Ultra Enterprise 2) é dividido pelo tempo de execução na máquina a testar. Chama-se a esta razão o SPEC ratio. 2. É calculada a média geométrica dos vários SPEC ratios. n SPEC = n SPECratio i i AC1 Medição do Desempenho 16

dividido pelo tempo de execução na máquina a testar. Chama-se a esta razão o SPEC ratio.

17 SPEC CPU 2006 SPEC CINT e CFP base Intel Core Duo 2.0 GHz AMD Athlon64 FX GHz Intel Xeon 3.8 GHz Intel Pentium ExTREME Edition 3.73 GHz SPEC CINT2006 SPEC CFP 2006 AC1 Medição do Desempenho 17

18 Sumário Tema Benchmarks SPEC Média Geométrica Synthetic Benchmarks H & P Sec. 2.4 Sec 2.6 Sec 2.7 Sec 2.7 Para mais informação ver: AC1 Medição do Desempenho 18

Documentos relacionados

Desempenho de Computadores

Desempenho de Computadores João Canas Ferreira Arquitectura de Computadores FEUP/LEIC Contém figuras de Computer Organization and Design, D. Patterson & J. Hennessey, 3ª. ed., MKP Tópicos Os vários aspectos