INFORME O Papel dos Benchmarks na Aquisição Pública de Computadores (agosto de 2014) INFORME

Transcrição

1 INFORME O papel dos Benchmarks na Aquisição Pública de Computadores "Valorizar o Dinheiro Público" Agosto de 2014 Este informe tem o propósito de proporcionar às autoridades governamentais responsáveis pelas aquisições públicas uma visão geral dos benchmarks das especificações técnicas de sistemas de computação (desktops, notebooks e servidores) em licitações públicas. Essas autoridades teriam mais possibilidades de "Valorizar o Dinheiro Público" se os documentos das licitações públicas (inclusive a especificação técnica) fossem redigidos para dar igualdade de acesso aos licitantes interessados que maximizarão o número de licitações, dentro das conformidades, para que as autoridades possam realizar sua escolha. Na aquisição de computadores, as autoridades mencionadas devem identificar as características da CPU e o sistema de computação que gostariam de adquirir, levando em consideração o uso previsto dos produtos e o orçamento disponível. Elas devem considerar todos os recursos levados ao mercado por pesquisas e inovação tecnológica na fabricação de computadores, com o objetivo de identificar os recursos que melhor atendam seus requisitos e ajudam os usuários a alcançar seus objetivos. Utilização dos benchmarks para avaliar o desempenho Com os avanços da tecnologia da computação, tornou-se mais difícil comparar o desempenho de vários sistemas de computação simplesmente lendo suas especificações. Por exemplo, um processador que opere em uma frequência de relógio mais elevada pode não proporcionar necessariamente maior potência computacional. Como a velocidade de relógio (frequência) não necessariamente prevê o desempenho ao comparar processadores com arquiteturas diferentes, de diferentes fabricantes, foram desenvolvidos testes (chamados benchmarks) para comparar o desempenho dos produtos. Contar apenas com parâmetros físicos para comparar diferentes produtos pode não resultar em uma decisão bem informada. Os benchmarks são programas de computador especializados que operam nos sistemas em avaliação. O programa de benchmarking executa uma série de testes padrão e ensaios que simulam cargas de trabalho específicas no sistema e gera uma pontuação de desempenho final. A pontuação do desempenho fornece um instantâneo do desempenho do sistema das cargas de trabalho medidas, o que permite uma comparação objetiva e voltada para dados. Avaliar produtos utilizando benchmarks baseados em desempenho em vez de números de processador ou velocidades de relógio, pode levar a decisões mais bem informadas. Com 1

2 padrão da indústria, os benchmarks desenvolvidos em consórcios proporcionam uma estrutura sólida para comparar o desempenho de produtos de computação a serem distribuídos dentro de agências governamentais. Qual benchmark devo usar? Existem diversos benchmarks de desempenho disponíveis, mas nem sempre é fácil para uma autoridade governamental responsável por contratos de aquisições escolher o(s) benchmark(s) mais adequado(s) para uma licitação específica. A escolha de um benchmark inadequado pode resultar em um sistema de computação diferente daquele que a organização precisa e, em alguns casos, pode até levar à discriminação de fornecedores específicos e de seus produtos. Independentemente do benchmark escolhido, é extremamente importante definir e seguir uma metodologia rigorosa ao usar benchmarks de desempenho. Variações na forma pela qual um benchmark é operado podem levar a resultados não confiáveis e não comparáveis, o que pode até resultar em um desafio na adjudicação do contrato. O primeiro aspecto a considerar é o tipo de benchmark. Há quatro tipos atualmente disponíveis no mercado: Benchmarks de sistema que avaliam o desempenho geral de um sistema para um modelo de uso definido. Benchmarks de componentes que medem o desempenho de componentes individuais, tais como CPU e cartão de memória ou gráficos. Benchmarks sintéticos que são usados para isolar o desempenho de determinados recursos de certos componentes de hardware. Benchmarks baseados em aplicativos que medem um modelo de uso definido, inclusive aplicativos completos que o usuário representativo operaria normalmente. Todas as ações são planejadas, inclusive o tempo para pensar, erros e multitarefas. Para qualquer um desses tipos, um bom benchmark de desempenho deve sempre ter os atributos mínimos descritos abaixo: Relevantes e Representativos: As autoridades governamentais responsáveis pelas aquisições públicas devem escolher um benchmark ou uma combinação de benchmarks que meça o desempenho usando testes representativos do uso diário real para o qual o sistema se destina. Se o benchmark não for relevante, essas autoridades correm o risco de adquirir um produto diferente do que precisam. Reconhecidos e Construídos com Dados das Partes Interessadas: As autoridades governamentais responsáveis pelas aquisições públicas devem escolher os benchmarks de desempenho desenvolvidos e mantidos por consórcios bem reconhecidos do setor, ou seja, órgãos de padronização independentes, sem fins lucrativos, com ampla representação na indústria. Os benchmarks de consórcios 2

3 foram desenvolvidos de forma aberta e debatidos amplamente, possuem metodologias bem definidas e, portanto, são geralmente objetivos, imparciais, confiáveis, reproduzíveis e amplamente aceitos. Os benchmarks particularmente desenvolvidos podem ter, das partes interessadas, níveis variados de envolvimento no processo de desenvolvimento. Os dados são procurados, mas é o desenvolvedor quem toma as decisões a respeito das medidas de benchmark. Além disso, normalmente há menos transparência na metodologia usada nesses benchmarks, o que poderia torná-los inadequados para comparar o desempenho de diferentes sistemas de computação, especialmente no contexto de concorrências públicas, porque as variações de metodologias influenciam a pontuação e tornam o resultado da pontuação de desempenho não comparável. Os desenvolvedores de benchmarks podem ser categorizados por ordem de transparência e de abertura: Consórcio de benchmark sem fins lucrativos (exemplos: BAPCo*, SPEC* e EEMBC*) Comunidade de código fonte aberto, sem fins lucrativos (exemplo, Principled Technologies*) Fornecedor de benchmark independente, com fins lucrativos (exemplos: Futuremark*, Rightware* e Kishont*) Desenvolvedores menores com fins lucrativos (exemplo: AnTuTu*) O processo de desenvolvimento de benchmark é diferente para cada tipo de organização. Por exemplo, cada membro de um consórcio de benchmark é uma parte interessada e pode ajudar na codificação, no fornecimento de feedback para o desenvolvimento e/ou na participação do teste de pré-liberação. Cada membro de um consórcio de benchmark também tem um voto com respeito a qual característica será incluída no benchmark final liberado. No caso de uma comunidade de código fonte aberto ou de fornecedor de benchmark independente, as decisões finais sobre quais características estarão incluídas na liberação final do benchmark são normalmente tomadas pelos executivos da organização. Os fornecedores de benchmark independentes variam quanto ao nível de informações de usuários que procuram. Por exemplo, a Futuremark solicita informações de sua comunidade de usuários, embora sejam os executivos da empresa que tomam as decisões finais. As pequenas empresas tendem a ser as menos transparentes dentre todos os desenvolvedores de benchmark, porque elas normalmente não têm recursos para solicitar feedback dos usuários durante o processo de desenvolvimento do benchmark. Atualizados: As autoridades devem sempre usar a mais recente versão disponível de qualquer benchmark. Os benchmarks de bom desempenho são constantemente atualizados e novos benchmarks são regularmente introduzidos para acompanhar o desenvolvimento e as inovações da indústria da computação. Um benchmark desatualizado não levará 3

4 em conta a maneira pela qual as novas funcionalidades (por exemplo: multithreading) afetam o desempenho. O uso de um benchmark desatualizado para comparar dois sistemas pode resultar numa comparação de desempenho imprecisa. Por exemplo, suponhamos um caso em que um sistema ofereça benefícios reais de desempenho com tecnologia aprimorada e um segundo sistema, mais velho, que nada ofereça. Se o benchmark desatualizado não reconhecer e não medir a melhoria da tecnologia, o sistema com a tecnologia antiga pode realmente conseguir uma pontuação superior àquela do sistema com a nova tecnologia de desempenho aprimorado. Resumindo, os benchmarks desatualizados podem apresentar desvantagens em relação aos produtos de melhor desempenho, mais recentes e inovadores. Benchmarks de Desempenho Recomendados pela Intel Os benchmarks de desempenho recomendados pela Intel para desktops, notebooks, tablets e servidores, no momento da publicação deste informe, estão relacionados no Apêndice anexo. Descrições detalhadas dos benchmarks recomendados pela Intel seguem abaixo. APÊNDICE A BENCHMARKS RECOMENDADOS PELA INTEL 4

5 5

6 Descrições de benchmark: 3DMark* é um benchmark da Futuremark* que mede o desempenho de jogos do DX* 9 / OpenGL* ES 2.0, DX 10 e DX 11. Existem três testes principais: "Ice Storm para DX 9 / OpenGL ES 2.0, "Cloud Gate" para DX 10, "Sky Diver" para DX11 e "Fire Strike" para gráficos DX 11. Métricas Reportadas: Pontuação de Gráficos (GPU), Pontuação dos Físicos (CPU), Pontuação Combinada (GPU e CPU) e uma Pontuação global do 3DMark (maior é melhor para todas as Pontuações). Eficiência em Escalabilidade: Os testes gráficos são GPU dominantes, sensíveis aos gráficos e à frequência da CPU, contagem do núcleo e memória. Suporte a Sistema Operacional: Desktop Windows*, Android*, ios* e Windows RT. ANDEBench* PRO é um benchmark do Embedded Microprocessor Benchmark Consortium (EEMBC) que mede o processador, o desempenho do fluxo de trabalho e os gráficos 3D em dispositivos Android*. Os subtestes da AndEBench incluem CoreMark-HPC Base, CoreMark-HPC Peak, Largura da Banda de Memória, Latência da Memória, Armazenamento, Plataforma (cenário de fluxo de trabalho) e gráficos 3D. Uma Pontuação global do Dispositivo é calculada. Suporte a Sistema Operacional: Android BatteryXPRT* 2014 é um benchmark da Principled Technologies* que mede o desempenho qualificado da duração da bateria em dispositivos Android* A BatteryXPRT suporta os modos de teste avião e conectado para representar cenários de usuários offline e conectados. O cenário de descarga em um dia de vida inclui: Interface de Usuário, Playback de Vídeos, Standby com Display Off, Light Media Editing, Playback de Áudio e Navegação da Web. Suporte a Sistema Operacional: Android GFXBench* 2.7, anteriormente conhecido como GLBenchmark* e DXBenchmark*, é um benchmark da Kishonti Informatics* que mede o desempenho de jogos do OpenGL* ES 2.0 e DX* 9. Há dois testes gráficos principais: GFXBench 2.7 T-Rex HD (não compatível com o GLBenchmark* 2.5.1) e GFXBench 2.5 Egypt HD. Métricas Reportadas: quadros por 6

7 segundo. Eficiência em Escalabilidade: Os testes gráficos são GPU dominantes, sensíveis aos gráficos e à frequência da CPU, contagem do núcleo e memória. Suporte a Sistema Operacional: Android*, ios* e Windows*. GFXBench* 3.0 é um benchmark da Kishonti Informatics* que mede o desempenho de jogos do OpenGL* ES. Há dois testes gráficos principais: Manhattan (OpenGL ES 3.0) e T- Rex (OpenGL ES 2.0). Métricas Reportadas: quadros por segundo. Eficiência em Escalabilidade: Os testes gráficos são GPU dominantes, sensíveis aos gráficos e à frequência da CPU, contagem do núcleo e memória. Suporte a Sistema Operacional: Android* e ios*. HDXPRT* 2014, ou Teste de Classificação de Alta Definição de Experiência & Desempenho, é um benchmark da Principled Technologies* que mede o desempenho de edição de mídia do Windows*. O HDXPRT tem três categorias de casos de uso: Edita fotos, converte vídeos e Edita Músicas. Ele usa aplicativos dos principais meios de comunicação para testar o desempenho do sistema. Suporte a Sistema Operacional: Desktop Windows. MobileMark* 2012 é um benchmark do consórcio da BAPCo* que mede a vida útil da bateria de desempenho qualificado do Windows*. O MobileMark apresenta três cenários de uso durante a descarga da bateria: Produtividade do Office, Criação e Consumo de Mídia e Playback de Blu-ray*. O MobileMark contém aplicativos reais de Provedores de Software Independentes, como Microsoft* e Adobe*. Métricas Reportadas (base por cenário): Classificação da Vida Útil da Bateria do MobileMark e Classificação de Qualificação de Desempenho do MobileMark (mais alta, melhor para as duas). Suporte a Sistema Operacional: Desktop Windows 64-bit. BatteryXPRT*2013 é um benchmark da Principled Technologies* que mede o desempenho de edição de mídia light em dispositivos Android*. O MobileXPRT tem dois conjuntos de benchmark: Desempenho baseado em aplicativos de Fotos e Vídeos e na Experiência do Usuário tendo como base testes de resposta automatizada de interface de usuário. Os testes de desempenho são: Aplicar Efeitos em Fotos, Criar Colagens de Fotos, Criar Slideshows, Criptografar Conteúdo Pessoal e Detectar Rostos em Fotos. Os testes de experiência do usuário são: Lista de Rolagem, Grade de Rolagem, Galeria de Rolagem, Navegador de Rolagem e Zoom & Pinch. Suporte a Sistema Operacional: Android O SPEC* CPU2006 é um benchmark do consórcio SPEC que mede o desempenho e o rendimento de dispositivos usando subtestes de aplicação intensiva de computação. O SPECint* _base2006 mede a rapidez que um dispositivo leva para completar uma tarefa integral de computação. O SPECint* _rate_base2006 mede o rendimento ou quantas tarefas integrais de computação um dispositivo pode realizar em um determinado período de tempo. Suporte a Sistema Operacional: Desktop Windows*. SYSmark* 2014 é um benchmark do consórcio da BAPCo* que mede o desempenho das plataformas do Windows*. O SYSmark testa três cenários de uso: Produtividade do Office, Criação de Mídia e Análise de Dados/Financeira. O SYSmark contém aplicativos reais de Fornecedores de Software Independentes, como Microsoft* e Adobe*. Métricas Reportadas: Classificação Global do SYSmark e uma classificação para cada resultado de cenário (maior é melhor para todos). Eficiência em Escalabilidade: CPU dominante, 7

8 sensível à frequência, à contagem de núcleo e à memória. Suporte a Sistema Operacional: Desktop Windows. TabletMark* V2 é um benchmark do consórcio BAPCo* que mede a Experiência do Usuário em termos de produtividade light em interface de usuário moderna, mídia e desempenho de casos de uso qualificados de duração de bateria, incorporando usos de tablets do mundo real comum como Web, , Compartilhamento de Fotos e Vídeos, bem como Reprodução de Vídeos. As cargas de trabalho do TabletMark V2 usam tecnologias como o HTML5/JavaScript*, criptografia AES de 256 bits, imagem HDR e decodificação de vídeo H.264. Métricas Reportadas: Classificação do TabletMark, Classificação de Web e , Classificação de Fotos e Vídeos (maior é melhor para todos) e a vida útil da bateria de desempenho qualificado. Eficiência em Escalabilidade: CPU dominante, sensível à frequência e à contagem de núcleo. Suporte a Sistema Operacional: Windows 8 e Windows RT. O TouchXPRT* 2014 é um benchmark da Principled Technologies que mede o desempenho de edição de mídia light do Windows* para dispositivos do Windows 8 e Windows RT. O TouchXPRT testa cinco cenários de uso: Embelezamento de Fotos, Mistura de Fotos, Conversão de Vídeos para Compartilhamento, Criação de Música em Podcast e Criação de Slideshow de Fotos. Métricas Reportadas: tempo decorrido em segundos (menor é melhor) para cada cenário, além de uma pontuação global (maior é melhor). Eficiência em Escalabilidade: CPU dominante, sensível à frequência e à memória. Suporte a Sistema Operacional: Windows 8 e Windows RT. O WebXPRT* 2013 é uma referência da Principled Technologies* que mede o desempenho de aplicativos da web utilizando quatro cenários de uso: Efeitos de Fotos, Detecção de Rostos, Dashboard de Estoque e Notas Off-line. O WebXPRT testa tecnologias de navegador moderno como o HTML5 Canvas 2D, Tabela HTML5, Armazenamento Local HTML5 assim como o JavaScript*. Métricas Reportadas: tempo decorrido em segundos (menor é melhor) para cada cenário, além de uma pontuação global (maior é melhor). Eficiência em Escalabilidade: CPU dominante (navegadores mais recentes são acelerados pela GPU), sensível à frequência. Observe que WebXPRT é muito sensível ao tipo e à versão do navegador. Suporte a Sistema Operacional: qualquer Sistema Operacional (OS) que suporta um navegador HTML5. 8

9 Benchmarks Recomendados para Servidores Para servidores, a Intel recomenda os benchmarks de desempenho relacionados na tabela a seguir, classificados pela carga de trabalho medida: CARGA DE TRABALHO DESEMPENHO DE BENCHMARK Planejamento dos Recursos Corporativos (ERP) Gestão de Relacionamento com Clientes (CRM) Ambientes Virtualizados IaaS (Infraestrutura como Serviço) SAP Standard Application Benchmarks* Oracle Applications Standard Benchmark* TPC-C* TPC-E* SPECvirt_sc*2013 VMmark2.5* TPC-VMS* Infraestrutura de Desktop Virtual Desktop Virtual Hospedado - Login VSI* - View Planner* Java* - SPECjbb* SPECjEnterprise*2010 Processamento de Transações Online TPC-C* TPC-E* HammerDB Armazenamento de Dados / Data Mart Análise de dados / Prospecção de Dados TPC-H* Eficiência de Energia - SPECpower_ssj* Benchmark de Energia do Servidor SAP* - SPECvirt* _sc2013_ppw (Desempenho do Servidor e do Armazenamento por Watt) - SPECvirt* _sc2013_serverppw - VMmark2.5 (com Energia do Servidor ou com Energia do Servidor e do Armazenamento) Suporte à Decisão SAP H (BW-EML) TPC-DS* TPC-H* Análise de Big Data BigBench HiBench - Microsoft* Exchange* Gerador de Carga 9

10 Armazenamento Cloud - COSbench Armazenamento Corporativo SAN (Rede de Área de Armazenagem) - IOMeter* - FIO (iscsi) Remoto - FIO (caracterização de back-end) local NAS (Armazenamento Anexado à Rede): - FIO Remoto Posto de Trabalho - SPECCPU* Autocad* Catalisador - SPECapc creo* - 3DSmark* - Ansys* Fluente, Mecânico - ABAQUS* - 3DMARK* SPECviewperf* 1. Benchmarks de Aplicação Específica CAE - LS-DYNA* Dinâmica de Fluidos Computacionais - OpenFOAM* Criação de Conteúdo Digital - Embree* Traçado de Raios Energia - 2D-FFT - 3D-FFT Computação Técnica Serviços Financeiros - Monte Carlo RNG* - Monte Carlo Sim* - BlackScholes* - STAC-A2* - Opções Binomiais* Ciências da vida - Gromacs* - MPI Hmmer* - LAMMPS* - BWA* - NAMD* Fabricação - ANSYS Mecânica* - minife* - GTC-P* (necessário acordo de licença PPL) Clima - WRF* Física - ASKAP thogbomclean* 2. Benchmark de Componentes - DGEMM - LINPACK - STREAM 10

11 - SGEMM - SPECCPU* SPECMPI* SPECOMP*

12 TERMO DE RESPONSABILIDADE O software e as cargas de trabalho utilizados em testes de desempenho foram apenas para o desempenho em microprocessadores da Intel. Os testes de desempenho, como o SYSmark e o MobileMark, são medidos utilizando sistemas específicos de computação, componentes, software, operações e funções. Qualquer alteração em qualquer desses fatores poderá fazer com que os resultados variem. Consulte outras informações e testes de desempenho para ajudá-lo a avaliar amplamente o produto que pretende adquirir, incluindo o desempenho desse produto quando combinado com outros produtos. AS INFORMAÇÕES CONTIDAS NESTE DOCUMENTO PODEM ESTAR SUJEITAS A ALTERAÇÕES SEM AVISO PRÉVIO. ATUALIZAÇÕES PODEM SER DISPONIBILIZADAS EM EMBORA OS MELHORES ESFORÇOS TENHAM SIDO EMPREENDIDOS A FIM DE ASSEGURAR A EXATIDÃO E INTEGRALIDADE DAS INFORMAÇÕES PROPORCIONADAS NESTE DOCUMENTO, INTEL CORPORATION E SUAS SUBSIDIÁRIAS MUNDIAIS NÃO ASSUMEM QUALQUER RESPONSABILIDADE A ESSE RESPEITO E ISENTAM-SE DE QUALQUER RESPONSABILIDADE POR QUAISQUER TIPOS DE DANOS (INCLUINDO, SEM LIMITAÇÃO, DANOS NOMINAIS, COMPENSATÓRIOS, DIRETOS, INDIRETOS, ESPECULATIVOS, ESPECIAIS E CONSEQUENTES) QUE AS AUTORIDADES CONTRATANTES POSSAM EVENTUALMENTE SOFRER DEVIDO À SUA CONFIABILIDADE NESSAS INFORMAÇÕES. CONTINUA SENDO DE EXCLUSIVA RESPONSABILIDADE DAS AUTORIDADES CONTRATANTES IDENTIFICAR AS CARACTERÍSTICAS EXIGIDAS DOS PRODUTOS E DOS SERVIÇOS QUE CONSTITUEM O OBJETO DO CONTRATO E PELA ELABORAÇÃO DAS ESPECIFICAÇÕES TÉCNICAS, EM CONFORMIDADE ÀS LEIS E AOS REGULAMENTOS APLICÁVEIS. ** Outros nomes ou marcas podem ser considerados propriedades de terceiros. Copyright 2014 Intel Corporation. 12