Aspectos quantitativos elementares

Transcrição

1 Aspectos quantitativos elementares João Canas Ferreira Setembro de 2010 João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16 Assuntos 1 Benchmarks O que medir? Tipos de benchmarks 2 Princípios quantitativos Princípios básicos Avaliação do impacto de melhoramentos Factores do desempenho de um CPU João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16

2 O que medir? Tempo e desempenho A principal medida consistente do desempenho de um computador é o tempo que ele demora a executar uma tarefa. Questões: O que significa O computador A é mais rápido que B? Que tempo se deve medir? (tempo de resposta, débito, etc.) Definição: Seja n = tempo_execução y tempo_execução x Diz-se: a máquina X é n vezes mais rápida que a máquina Y. desempenho = 1 tempo_execução n = desempenho x desempenho y O computador mais rápido é aquele que executa a mesma quantidade de trabalho num intervalo mais curto. João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / Melhor desempenho significada desempenho mais elevado Melhor desempenho significa tempo de execução mais reduzido As análises de desempenho estão frequentemente recheadas de mal-entendidos. Nesta disciplina usaremos consistentemente a definição de n vezes mais rápido indicada na transparência. De um modo geral, é necessário estar muito atento à forma como os diferentes conceitos são definidos e utilizados (muitas vezes sem definição explícita). 3

3 O que medir? Tempos Tempo de resposta ou tempo transcorrido Tempo total entre início e fim da tarefa incluindo todos os factores (sistema operativo, etc.) Tempo de CPU Período de tempo em que o CPU esteve ocupado a executar instruções de um processo. Não inclui o tempo gasto com outros processos ou à espera de dados. tempo de utilizador tempo de sistema > time prog arg1 arg2 90.7u 12.9s 2:39 65% 0.65 = ( )/159 Usar tempo de utilizador ou tempo de CPU? Existem bons argumentos para ambos... João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / Qual o tempo a usar para avaliar o desempenho está dependente da finalidade da medição. O tempo de utilizador é o que em última análise interessa ao utilizador. Contudo, este tempo é facilmente afectado por factores que, para efeitos práticos, não podem ser controlados (p.ex., quais os outros programas em execução no sistema ou a actividade de rede) O tempo de CPU inclui a influência do sistema operativo e dos respectivos algoritmos de gestão de recursos O tempo do utilizador é igualmente ambíguo. Os sistemas operativos têm dificuldade em medir com exactidão o tempo de sistema, pelo que o tempo de utilizador é geralmente menos exacto que o tempo de CPU. Por outro lado, o que num sistema é tarefa do S.O. noutro pode ser da responsabilidade da aplicação Se não existir razão que leve a outra escolha, usa-se o tempo de CPU (sistema + utilizador) medido num sistema pouco carregado. Afinal, todas as aplicações práticas necessitam de algum tipo de S.O. (excepção: algumas aplicações embutidas). 4

4 Tipos de benchmarks Como avaliar o desempenho de um computador? Benchmark = indicação de altitude, cota de nível [Dic. Porto Ed.] Tendência actual: Avaliação empírica usando um conjunto padronizado de programas. Que programas? micro-benchmarks para aspectos específicos do sistema (lmbench) sintéticos (Dhrystone, Wheatstone) núcleos de programas ( Livermore loops, Linpack) programas completos (originais ou ligeiramente alterados) Qual o peso de cada programa? Quais são as condições de execução? Algumas organizações: SPEC: Servidores: Sistemas embutidos: João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / Por vezes, são apresentados resultados referentes a rotinas relativamente pequenas ( linhas de código), cujos resultados são conhecidos (quicksort, p. ex.). Estes resultados são essencialmente inúteis para efeitos de avaliação do desempenho de um computador A utilização de rotinas sintéticas tem geralmente levado a erros grosseiros. Pelas mesmas razões, a utilização dos resultados de micro-benchmarks deve ser feita com cautela Frequentemente, os programas reais usados para benchmarking são versões simplificadas do programa original. Por exemplo, em benchmarks de CPUs é vantajoso alterar o programa para reduzir a actividade de E/S (que não se pretende medir) e obter assim resultados mais úteis para a avaliação da capacidade de processamento. Neste caso, parte-se do princípio que apenas se pretende avaliar o CPU (e o subsistema de memória), mas não o subsistema de E/S É importante verificar em que condições são feitas as medições: configuração do sistema (hardware e software) e configuração do compilador. 5

5 Benchmarks também evoluem Tipos de benchmarks Fonte: [CAQA4] João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / A figura mostra 5 edições dos benchmarks SPEC Dos 12 programas sem vírgula flutuante (VF), 9 são escritos em C e 3 em C++. (versão 2006) 6.3. Dos programas com VF, 6 são em Fortran, 4 em C++, 3 em C e 4 misturam C e Fortran. (versão 2006) 6.4. Mesmo para programas que se mantêm em mais que uma edição, a respectiva versão ou os dados de entrada são alterados. 6

6 Tipos de benchmarks Domínios de aplicação A escolha dos programas a utilizar depende dos fins em vista para o sistema avaliado, particularmente do seu domínio de aplicação. Desktop: Usam-se benchmarks centrados no CPU e no sub-sistema gráfico: CPU2000 (CINT2000 e CFP2000), SPECapc, SPECviewperf. Servidores: Processamento de transacções para sistemas de bases de dados e de suporte à decisão: TPC-C, TPC-H, etc. A configuração e o custo dos sistemas é de particular importância e deve ser sempre referida. Embedded: A utilidade de benchmarks é mais reduzida, porque se trata de ambientes muito heterogéneos em que o desempenho global é mais importante que o das aplicações individuais. O consórcio EEMBC reconhece actualmente 7 sub-domínios: automóvel, electrónica de consumo, entretenimento digital, Java, redes, aplicações de escritório e telecomunicações. João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / O melhor conjunto de programas a utilizar é aquele que se pretende usar o sistema. Nesse contexto não é geralmente possível fazer uma avaliação comparativa de muitos modelos diferentes, pelo que é necessário recorrer a benchmarks padronizados e divulgados. Neste caso convém determinar quais os tipos de benchmarks mais apropriados para as aplicações e vista O domínio dos sistemas embutidos é aquele em que a utilidade de benchmarks é mais duvidosa APC = Application Performance Characterization SPECviewperf é um programa de avaliação de desempenho gráfico OpenGL (escrito em linguagem C). 7

7 Como sumariar resultados Benchmarks A melhor solução é não fazer sumários! A média aritmética é muito afectada valores individuais extremos. Usar rácios para caracterizar o desempenho de programas individuais. Rácios devem ser combinados usando a média geométrica. Média geométrica de n rácios de desempenho (tempos de execução referidos a um valor de referência) : G = n n r i. i=1 A razão entre rácios de tempos é igual ao rácio dos desempenhos. A média geométrica de dois (ou mais) rácios é igual ao rácio das médias geométricas. O rácio de duas médias geométricas é igual à média geométrica dos rácios de desempenho. O valor de referência não importa. João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / Deve procurar-se obter os dados em bruto para cada programa incluído no benchmark. SPEC tem todos os resultados em bruto disponíveis para análise O desvio padrão geométrico de uma média geométrica µ de n valores v i é dado por (assumindo uma distribuição normal dos tempos): gstdev = exp ( n i=1 (ln v i ln µ) Em média, 68% dos valores v i ficarão no intervalo [µ/gstdev; µ gstdev] Em média, 95% dos valores v i ficarão no intervalo [µ/gstdev 2 ; µ gstdev 2 ]. n ) 8

8 SPECRatios Normalização do desempenho (para 1 programa): SPECRatio A = tempo ref tempo A A razão entre dois SPECRatio (mesmo programa em dois computadores diferentes) é igual á razão entre os desempenhos: SPECRatio A SPECRatio B = tempo ref tempo A tempo ref tempo B = tempo B tempo A = desempenho A desempenho B Para sumarizar os resultados de um conjunto de benchmarks para o mesmo computador, faz-se a média geométrica dos vários rácios. João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16 Benchmarks Exemplo de comparação baseada em benchmarks Fonte: [CAQA4] João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16

9 O custo também pode interessar: desktop Fonte: [CAQA4] João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16 Benchmarks O custo também pode interessar: servidores Fonte: [CAQA4] João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16

10 Custo total de um computador Fonte: [CAQA4] João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16 Desempenho de pico Benchmarks Fonte: [CAQA4] João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16

11 Princípios quantitativos Princípios básicos Regras básicas de projecto Melhorar o caso mais frequente (simples) O caso frequente é também geralmente o mais simples! Lei de Amdahl O aumento de desempenho a obter por uso de certa melhoria está limitado pela fracção de tempo em que a melhoria pode ser efectivamente aplicada. Equação de desempenho do CPU T exec = N instr t ciclo CPI Princípio da localidade (proximidade) 90% do tempo em 10% do código (já foi 80%-20%) localidade espacial e "localidade temporal" Aproveitar o paralelismo. João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / Muitas vezes, o caso mais frequente também é o mais simples. Os casos poucos frequentes podem ser tratados separadamente Não é sempre evidente qual é o caso mais simples Para que um melhoramento seja efectivo, é necessário que possa ser aplicado frequentemente. Determinar se tal ocorre efectivamente pode ser relativamente complicado O facto de o princípio da proximidade ser válido é de grande importância para a arquitectura de computadores. Por exemplo, torna efectivas tanto a memória cache como a virtual Explorar a concorrência de operações é uma opção natural, já que os sistemas físicos funcionam naturalmente em paralelo. Muitas vezes é o modelo de von Neumann que impõe uma ordem sequencial mais ou menos arbitrária às operações de um computador. 15

12 A lei de Amdahl Princípios quantitativos Avaliação do impacto de melhoramentos O aumento de desempenho proporcionado por um dado melhoramento está limitado pela fracção de tempo em que o melhoramento pode ser efectivamente aplicado. Speedup = Desempenho c/ melhoramento Desempenho s/ melhoramento = Tempo s/ melhoramento Tempo c/ melhoramento Fracção do tempo original que beneficia do melhoramento: F p Ganho parcial proporcionado pela melhoria: S p = T a /T n. O novo tempo de execução global é (T 1 : tempo sem melhoramentos): ( T 2 = T 1 (1 F p ) + T 1 F p /S p = T 1 (1 F p ) + F ) p S p Speedup total: S total = T 1 T 2 = 1 (1 F p ) + (F p /S p ) João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / T a é o tempo de execução original da parte do programa afectada pelo melhoramento. T n é o tempo de execução melhorado dessa mesma parte Exemplo: Um novo processador é 10 vezes mais rápido que o anterior. Num servidor WWW, o processador original estava ocupado 40% do tempo; o tempo restante era gasto à espera de operações de E/S. Que speedup é proporcionado pelo novo processador? Temos F p = 0.4 e S p = 10. Portanto, a melhoria global é S total = = Se S p = (sem dúvida uma situação ideal), obtém-se S total = 1 1 F p ; a melhoria é limitada pela fracção do programa afectada por essa melhoria. 16

13 Princípios quantitativos A equação de desempenho do CPU Factores do desempenho de um CPU O tempo de execução pode ser escrito de maneira a tornar explícitos os factores envolvidos: T exec = nº de ciclos do programa T ciclo CPI = nº total de ciclos do programa N instr T exec = N instr t ciclo CPI Os três parâmetros são interdependentes, porque as aspectos de base também o são. tempo de ciclo: tecnologia de hardware e organização; CPI: organização e arquitectura do conjunto de instruções; número de instruções: arquitectura do conjunto de instruções e tecnologia de compilação. João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / N instr representa o número de instruções executadas, não o número de instruções presentes no código no programa Por vezes, é possível agrupar as instruções por classes, cada uma com o seu valor de CPI. Sabendo o número de instruções de cada classe executadas (N i ), calcula-se o CPI através de: CPI = n i=1 (N i CPI i ) N instr = n i=1 ( ) Ni CPI i N instr Os valores para o número de instruções executadas e para o número de ciclos podem ser obtidos por: simulação; monitorização de hardware; cálculo a partir da especificação do CPU e do código do programa em linguagem assembly (mas só em casos muito particulares). 17

14 Referências Referências CAQA4 J. L. Hennessey & D. A. Patterson, Computer Arquitecture: A Quantitative Approach, 4ª ed. Os tópicos tratados nesta apresentação são abordados nas seguintes secções de [CAQA4]: João Canas Ferreira (FEUP) Aspectos quantitativos elementares Setembro de / 16