Proteção de endpoints para pequenas empresas Testes de desempenho

Transcrição

1 Proteção de endpoints para pequenas empresas Testes de desempenho Windows 7 Setembro de 2010 Documento: Testes de desempenho da proteção de endpoints para pequenas empresas Autores: K. Lai, D. Wren, T. Rowling Empresa: PassMark Software Data: 5 de outubro de 2010 Relatório: 1

2 Resumo executivo A PassMark Software realizou em setembro de 2010 testes de desempenho objetivos em cinco produtos disponíveis publicamente de software de segurança para proteção de endpoints para pequenas empresas no Windows 7 Ultimate Edition. Na tabela a seguir, a pontuação mais alta possível é de 52 pontos. O Symantec Endpoint Protection Small Business Edition classificou se em primeiro lugar com 43 pontos. Nome do produto Pontuação geral Symantec Endpoint Protection Small Business Edition 43 Kaspersky Business Space Security 33 Trend Micro Worry Free Business Security 30 McAfee Total Protection for Endpoint Essentials 24 Essa pontuação oferece uma indicação geral do desempenho do produto em comparação com outros produtos testados por nós. Cada produto computou pontos com base em sua classificação em cada teste; Classificação no teste Pontos computados Os testes foram realizados em todos os produtos usando 13 métricas de desempenho. Essas métricas são as seguintes: Tempo de instalação Tempo de inicialização Tempo de verificação sob demanda Uso médio da CPU durante a verificação Tempo de inicialização da interface do usuário Tempo para abrir um documento do Word Tempo de navegação Taxa de transmissão da rede Cópia, movimentação e exclusão de arquivos Compactação e descompactação de arquivos Uso da memória durante tempo ocioso do sistema Uso da memória durante a verificação Uso médio da CPU durante tempo ocioso do sistema Teste de desempenho Página 2 de 24

3 Sumário RESUMO EXECUTIVO... 2 SUMÁRIO... 3 HISTÓRICO DE REVISÕES... 4 PRODUTOS E VERSÕES... 5 RESUMO DAS MÉTRICAS DE DESEMPENHO... 6 RESULTADOS DO TESTE... 9 TESTE 1 TEMPO DE INSTALAÇÃO (SEGUNDOS)... 9 TESTE 2 TEMPO DE INICIALIZAÇÃO (SEGUNDOS)... 9 TESTE 3 TEMPO DE VERIFICAÇÃO SOB DEMANDA (SEGUNDOS) TESTE 4 USO DA CPU DURANTE A VERIFICAÇÃO (PERCENTUAL) TESTE 5 TEMPO DE INICIALIZAÇÃO DA INTERFACE DO USUÁRIO (MILISSEGUNDOS) TESTE 6 TEMPO DE INICIALIZAÇÃO DE UM DOCUMENTO DO WORD (MILISSEGUNDOS) TESTE 7 TEMPO DE NAVEGAÇÃO (SEGUNDOS) TESTE 8 TAXA DE TRANSMISSÃO DA REDE (SEGUNDOS) TESTE 9 CÓPIA, MOVIMENTAÇÃO E EXCLUSÃO DE ARQUIVOS (SEGUNDOS) TESTE 10 COMPACTAÇÃO E DESCOMPACTAÇÃO DE ARQUIVOS (SEGUNDOS) TESTE 11 USO DA MEMÓRIA DURANTE TEMPO OCIOSO DO SISTEMA (MEGABYTES) TESTE 12 USO DA MEMÓRIA DURANTE A VERIFICAÇÃO (MEGABYTES) TESTE 13 USO DA CPU DURANTE DURANTE TEMPO OCIOSO DO SISTEMA (PERCENTUAL) ISENÇÃO DE RESPONSABILIDADE E DIVULGAÇÃO DETALHES PARA CONTATO APÊNDICE 1 AMBIENTE DE TESTE SISTEMA DE ENDPOINT COM O WINDOWS 7 (64 BITS) SERVIDOR DA WEB E DE ARQUIVOS SERVIDOR ACTIVE DIRECTORY SERVIDOR DO CONSOLE DE GERENCIAMENTO DE ANTIVÍRUS APÊNDICE 2 DESCRIÇÃO DA METODOLOGIA Teste de desempenho Página 3 de 24

4 Histórico de revisões Rev Histórico de revisões Data Relatório 1 Versão inicial deste relatório 27 de setembro de 2010 Teste de desempenho Página 4 de 24

5 Produtos e versões Neste relatório, testamos ou incluímos as seguintes versões do software Endpoint Protection 1 : Fabricante Nome do produto Ano de lançamento Versão do produto Symantec Endpoint Protection Small Business Edition McAfee Total Protection for Endpoint Essentials Trend Micro Worry Free Business Security SP2 Kaspersky Business Space Security Todos os produtos foram testados usando suas configurações padrão 2 O sistema de prevenção contra intrusões (IPS) fica ativado no Symantec Endpoint Protection Small Business Edition por padrão Teste de desempenho Página 5 de 24

6 Resumo das métricas de desempenho Selecionamos um conjunto de métricas objetivas que fornecem uma indicação abrangente e realista das áreas nas quais os produtos de proteção de endpoints podem afetar o desempenho do sistema dos usuários finais. Nossas métricas testam o impacto do software sobre tarefas comuns desempenhadas pelos usuários finais no dia a dia. Todos os métodos de teste da PassMark Software podem ser reproduzidos por terceiros usando o mesmo ambiente para obter resultados de teste semelhantes. Descrições detalhadas das metodologias usadas em nossos testes estão disponíveis na seção Apêndice 2 Descrição da metodologia deste relatório. Teste 1 Tempo de instalação Este teste mede o tempo de instalação mínimo necessário para que o software de proteção de endpoints esteja totalmente funcional e pronto para ser utilizado pelo usuário final. Tempos de instalação mais baixos representam produtos cuja instalação pelo usuário é mais rápida. Teste 2 Tempo de inicialização Essa métrica mede o tempo necessário para o computador inicializar no sistema operacional. O software de segurança geralmente é iniciado na inicialização do Windows, implicando um tempo adicional e atrasando a inicialização do sistema operacional. Tempos de inicialização mais baixos indicam que o aplicativo teve menos impacto sobre a operação normal do computador. Teste 3 Tempo de verificação sob demanda Todas as soluções de proteção de endpoints têm funcionalidade desenvolvida para detectar vírus e várias outras formas de malware através da verificação de arquivos no sistema. Esta métrica mediu o tempo necessário para verificar um conjunto de arquivos limpos. Nosso conjunto de arquivos de amostra tinha um tamanho total de 5,42 GB e era composto de arquivos que seriam normalmente encontrados em computadores de usuários finais, como arquivos de mídia, arquivos do sistema e documentos do Microsoft Office. Teste 4 Uso médio da CPU durante a verificação Esta métrica mede a quantidade de CPU usada ao executar uma verificação. Teste 5 Tempo de inicialização da interface do usuário Esta métrica fornece uma indicação objetiva da percepção do usuário quanto à capacidade de resposta de um produto de segurança, medindo o tempo que a interface do usuário do software de proteção de endpoints leva para ser inicializada no Windows. Para considerar os efeitos do armazenamento em cache pelo sistema operacional, foram medidos tanto o tempo de inicialização inicial quanto os tempos de inicialização subsequentes. Nosso resultado final é uma média dessas duas medições. Teste 6 Tempo para abrir um documento do Word O tempo médio de inicialização da interface do Word foi obtido usando o AppTimer. Isso inclui o tempo para iniciar o aplicativo Word 2007 e abrir um documento de 10 MB. Esse teste era praticamente idêntico ao teste de tempo de inicialização da interface do usuário. Para cada produto testado, obtivemos um total de 15 Teste de desempenho Página 6 de 24

7 amostras de cinco conjuntos de três inicializações do Word, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes. Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial. Teste 7 Tempo de navegação A verificação de dados em busca de malware durante o download de dados da Internet ou intranet constitui um comportamento comum dos produtos de segurança. Esse comportamento pode afetar negativamente a velocidade de navegação à medida que os produtos verificam se há malware no conteúdo da Web. Esta métrica mede o tempo levado para navegar por um conjunto de sites populares da Internet para serem carregados consecutivamente de um servidor local em uma janela do navegador do usuário. Teste 8 Taxa de transmissão da rede Esta métrica mede o tempo levado para o fazer o download de arquivos variados de um servidor local usando HTTP, que é o principal protocolo usado na Web para navegação, links e transferência de dados. Os arquivos desse teste incluem formatos de arquivos que os usuários geralmente transferem da Web, como imagens, arquivos mortos, arquivos de música e arquivos de filme. Teste 9 Cópia, movimentação e exclusão de arquivos Esta métrica mede o tempo levado para mover, copiar e excluir um conjunto de arquivos de amostra. O conjunto de arquivos de amostra contém diversos tipos de formatos de arquivo que um usuário do Windows utilizaria no seu dia a dia. Esses formatos incluem documentos (por exemplo, documentos do Microsoft Office, arquivos PDF da Adobe, arquivos Zip etc.), formatos de mídia (por exemplo, imagens, filmes e músicas) e arquivos de sistema (por exemplo, executáveis, bibliotecas etc.). Teste 10 Compactação e descompactação de arquivos Esta métrica mede o tempo levado para compactar e descompactar diferentes tipos de arquivos. Os formatos de arquivo usados nesse teste incluíram documentos, filmes e imagens. Teste 11 Uso da memória durante tempo ocioso do sistema Esta métrica mede a quantidade de memória (RAM) usada pelo produto durante o tempo em que o computador e o software de proteção de endpoints estão em estado ocioso. O uso total da memória foi calculado identificando todos os processos do software de proteção de endpoints e a quantidade de memória usada por cada processo. A quantidade de memória usada enquanto o computador está ocioso fornece uma boa indicação da quantidade de recursos do sistema que estão sendo consumidos pelo software de proteção de endpoints em caráter permanente. Produtos com melhor desempenho ocupam menos memória enquanto o computador está ocioso. Teste de desempenho Página 7 de 24

8 Teste 12 Uso da memória durante a verificação Esta métrica mede a quantidade de memória (RAM) usada pelo produto enquando o software de endpoint está executando uma verificação do sistema. O uso total da memória foi calculado identificando todos os processos do software de proteção de endpoints e a quantidade de memória usada por cada processo. A quantidade de memória usada enquanto o computador está ocioso fornece uma boa indicação da quantidade de recursos do sistema que estão sendo consumidos pelo software de proteção de endpoints durante uma verificação ativa. Teste 13 Uso médio da CPU durante tempo ocioso do sistema Esta métrica mede a quantidade de CPU usada quando o sistema e o produto estão ociosos. Teste de desempenho Página 8 de 24

9 Resultados do teste Teste 1 Tempo de instalação (segundos) O gráfico a seguir compara o tempo de instalação mínimo necessário para que os produtos estejam totalmente funcionais e prontos para utilização pelo usuário final. Produtos com tempos de instalação mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 2 Tempo de inicialização (segundos) O gráfico a seguir compara o tempo médio levado para inicializar o sistema (de uma amostra de cinco inicializações) para cada produto testado. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Página 9 de 24

10 Teste 3 Tempo de verificação sob demanda (segundos) O gráfico a seguir compara o tempo médio levado para verificar um conjunto de arquivos de mídia, arquivos de sistema e documentos do Microsoft Office que no total tinham 5,42 GB. Esse tempo é calculado tirando a média dos tempos de verificação inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com tempos de verificação mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 4 Uso da CPU durante a verificação (percentual) O gráfico a seguir compara o uso médio da CPU durante uma verificação de um conjunto de arquivos de mídia, arquivos de sistema e documentos do Microsoft Office que no total tinham 5,42 GB. Esse valor é calculado tirando a média dos resultados de uso da CPU inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com uso de CPU mais baixo são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Página 10 de 24

11 Teste 5 Tempo de inicialização da interface do usuário (milissegundos) O gráfico a seguir compara o tempo médio necessário para iniciar a interface do usuário de um produto. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 6 Tempo de inicialização de um documento do Word (milissegundos) O gráfico a seguir compara o tempo médio levado para iniciar o Microsoft Word e abrir um documento de 10 MB. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Página 11 de 24

12 Teste 7 Tempo de navegação (segundos) O gráfico a seguir compara o tempo médio levado para o Internet Explorer carregar sucessivamente um conjunto de sites populares de um servidor local através da rede local. Produtos com tempos de navegação mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 8 Taxa de transmissão da rede (segundos) O gráfico a seguir compara o tempo médio para fazer o download de um conjunto de tipos de arquivo comuns de amostra para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Página 12 de 24

13 Teste 9 Cópia, movimentação e exclusão de arquivos (segundos) O gráfico a seguir compara o tempo médio levado para copiar, mover e excluir diversos conjuntos de arquivos de amostra para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 10 Compactação e descompactação de arquivos (segundos) O gráfico a seguir compara o tempo médio levado para que os arquivos de amostra fossem compactados e descompactados para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Página 13 de 24

14 Teste 11 Uso da memória durante tempo ocioso do sistema (megabytes) O gráfico a seguir compara a quantidade média de RAM em uso por cada produto durante um período de ociosidade do sistema. Essa média é calculada por meio de uma amostra de dez capturas de imagem da memória tiradas aproximadamente a cada 60 segundos após a reinicialização. Produtos com uso mais baixo de RAM durante ociosidade do sistema são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Página 14 de 24

15 Teste 12 Uso da memória durante a verificação (megabytes) O gráfico a seguir compara a quantidade média de RAM em uso por cada produto durante uma verificação de vírus. Essa média é calculada por meio de uma amostra de dez imagens da memória capturadas a cada 5 segundos aproximadamente. Produtos com uso de RAM mais baixo são considerados produtos com melhor desempenho nesta categoria. Teste 13 Uso da CPU durante durante tempo ocioso do sistema (percentual) O gráfico a seguir compara o uso médio da CPU durante o tempo ocioso do sistema. Esse valor é calculado tirando a média dos resultados de uso da CPU inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com uso de CPU mais baixo são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Página 15 de 24

16 Isenção de responsabilidade e divulgação Este relatório abrange apenas versões de produtos que estavam disponíveis na época dos testes. As versões testadas são as indicadas na seção Produtos e versões deste relatório. Os produtos testados não constituem uma lista exaustiva de todos os produtos disponíveis nessas categorias altamente competitivas. Isenção de responsabilidade Embora todos os esforços tenham sido feitos para garantir que as informações apresentadas neste relatório sejam precisas, a PassMark Software Pty Ltd não assume nenhuma responsabilidade por erros, omissões ou informações desatualizadas e não se responsabilizará de maneira alguma por danos diretos, indiretos, incidentais, consequentes ou punitivos resultantes da disponibilidade, do uso, da impossibilidade de uso dessas informações ou do acesso essas informações. Divulgação A Symantec Corporation financiou a elaboração deste relatório e forneceu alguns dos scripts usados para os testes. Marcas comerciais Todas as marcas comerciais são propriedade de seus respectivos proprietários. Detalhes para contato PassMark Software Pty Ltd Suite 202, Level 2 35 Buckingham St. Surry Hills, 2010 Sydney, Austrália Tel (2) Fax + 61 (2) Web Local para download Uma cópia eletrônica deste relatório pode ser encontrada no seguinte local: Teste de desempenho Página 16 de 24

17 Apêndice 1 Ambiente de teste Para os nossos testes, a PassMark Software usou um ambiente que executava o Windows 7 Ultimate (64 bits) e as seguintes especificações de hardware: Sistema de endpoint com o Windows 7 (64 bits) CPU: Placa de vídeo: Placa mãe: RAM: Disco rígido: Rede: Intel Core i5 750 de 2,66 GHz ATI Radeon 4350 de 1 GB ASUS V P7H55E, LGA GB de RAM DDR3, 1333 MHz Samsung de 1,5 TB e 7200 RPM Gigabit (1 GB/s) Servidor da Web e de arquivos O servidor não está sendo testado diretamente. Porém, ele é necessário para fornecer as páginas da Web e os arquivos usados durante os testes nos endpoints. CPU: Placa de vídeo: Placa mãe: RAM: Disco rígido: Rede: Dual Xeon de 3,2 GHz Quadro NVS 280 PCI E HP 08B4h 2 GB de RAM Infineon ECC registrada SCSI de 30 GB e RPM, SATA de 600 GB Gigabit (1 GB/s) Servidor Active Directory O servidor não está sendo testado. Porém, ele é necessário a alguns produtos para facilitar a implementação remota dos produtos nos endpoints. CPU: Placa de vídeo: Placa mãe: RAM: Disco rígido: Rede: Dual Xeon de 3,4 GHz RADEON X600 PRO HP 08B4h 2 GB de RAM Infineon ECC registrada WD740GD 50FLA2 (Raptor) de }74 GB e RPM Gigabit (1 GB/s) Servidor do console de gerenciamento de antivírus O servidor não está sendo testado. Porém, é necessário para a implementação do software de endpoint e para agendar verificações de malware. Máquinas virtuais serão usadas para os consoles de gerenciamento de cada produto. CPU: Placa de vídeo: Placa mãe: RAM: Disco rígido: Rede: AMD Phenom II x4 940 (Quad Core) ASUS GeForce 9400GT Gigabyte GA MA790XT UD4P 16 GB de memória DDR3 de 1333 MHz PC Western Digital Caviar Green WD10EADS de 1 TB Serial ATA II Gigabit (1 GB/s) Teste de desempenho Página 17 de 24

18 Apêndice 2 Descrição da metodologia Criação da imagem do Windows 7 Assim como nos testes realizados no Windows Vista, o Norton Ghost foi usado para criar uma imagem de linha de base limpa antes dos testes. Nosso objetivo é criar uma imagem de linha de base com o menor espaço ocupado possível e reduzir a possibilidade de variação causada por fatores externos ao sistema operacional. A imagem de linha de base foi restaurada antes do teste de cada produto diferente. Esse processo garante que todos os produtos sejam instalados e testados no mesmo computador "limpo". As etapas adotadas para criar a imagem do Windows 7 de base foram as seguintes: 1. Instalação e ativação do Windows 7 Ultimate Edition. 2. Desativação das atualizações automáticas. 3. Alteração das configurações de controle da conta do usuário para Nunca Notificar. 4. Desativação das verificações automáticas do Windows Defender para evitar atividade inesperada em segundo plano. 5. Desativação do firewall do Windows para evitar interferência com o software de segurança. 6. Instalação do Norton Ghost para fins de geração de imagens. 7. Desativação do SuperFetch para assegurar resultados consistentes. 8. Instalação do HTTPWatch para teste de tempo de navegação. 9. Instalação do Windows Performance Toolkit x64 para teste de tempo de inicialização. 10. Instalação do Active Perl para interpretação de alguns scripts de teste. 11. Desativação de atualizações, aceleradores e atualizações de exibição de compatibilidade no Internet Explorer Criação de uma imagem de linha de base usando o Norton Ghost. Teste 1 Tempo de instalação Este teste mede o tempo de instalação mínimo necessário para que um produto esteja totalmente funcional e pronto para ser utilizado pelo usuário final. O tempo de instalação geralmente pode ser dividido em três fases principais: A fase de extração e instalação consiste na extração do arquivo, exibição do EULA para aceitação, ativação do produto e opções configuráveis pelo usuário para a instalação. A fase de cópia de arquivo ocorre quando o produto está sendo instalado; geralmente, essa fase é indicada por uma barra de progresso. A fase pós instalação é qualquer parte da instalação que ocorra após a fase de cópia de arquivo. Essa fase varia muito de um produto para outro; o tempo registrado nessa fase pode incluir uma reinicialização necessária para finalizar a instalação ou incluir o tempo que o programa leva para ficar ocioso na bandeja do sistema. Para reduzir o impacto das variáveis da unidade de disco, cada produto foi copiado para a área de trabalho antes da inicialização da instalação. Cada etapa do processo de instalação foi cronometrada manualmente e registrada com o máximo possível de detalhes. Quando foi necessária uma contribuição do usuário final, o Teste de desempenho Página 18 de 24

19 cronômetro foi pausado e a contribuição foi anotada nos resultados brutos entre parênteses após a descrição da fase. Sempre que possível, todas as solicitações de pré verificação ou verificação após a instalação feitas pelos produtos foram recusadas ou ignoradas. Quando não foi possível ignorar uma verificação, o tempo de verificação foi incluído como parte do tempo de instalação. Quando um componente opcional da instalação formava uma parte razoável da funcionalidade do software, ele também foi instalado (por exemplo, software de verificação de links de sites como parte de um produto de segurança de endpoint). O tempo de instalação inclui o tempo levado para o instalador do produto fazer o download dos componentes exigidos na instalação. Isso pode incluir atualizações obrigatórias ou a entrega do próprio aplicativo por download. Anotamos em nossos resultados quando um produto fez o download de componentes para a instalação. Excluímos os tempos de ativação dos produtos devido à capacidade de variação da rede no contato com servidores do fornecedor ou ao tempo necessário para a criação da conta. Teste 2 Tempo de inicialização A PassMark Software usa ferramentas disponíveis no Windows Performance Toolkit versão 4.6 (como parte do Microsoft Windows 7 SDK, que pode ser obtido no site da Microsoft) com o objetivo de obter resultados mais precisos e consistentes para o tempo de inicialização na plataforma Windows 7. O processo de inicialização é primeiro otimizado com o xbootmgr.exe usando o comando xbootmgr.exe trace boot prepsystem, que prepara o sistema para o teste em seis inicializações de otimização. Os rastreamentos de inicialização obtidos do processo de otimização são descartados. Após a otimização da inicialização, o teste é conduzido usando o comando "xbootmgr.exe trace boot numruns 5. Esse comando inicializa o sistema cinco vezes sucessivamente, obtendo rastreamentos detalhados para cada ciclo de inicialização. Por fim, uma ferramenta pós processamento foi usada para analisar os rastreamentos de inicialização e obter o valor BootTimeViaPostBoot. Esse valor reflete o tempo levado pelo sistema para concluir todos os processos do tempo de inicialização (e somente estes). Nosso resultado final é uma média de cinco rastreamentos de inicialização. Teste de desempenho Página 19 de 24

20 Teste 3 Tempo de verificação sob demanda Tempo de verificação é o tempo levado por cada produto para verificar um conjunto de arquivos de amostra. A amostra utilizada era idêntica em todos os casos e continha uma combinação de arquivos de sistema e arquivos do Office. No total, havia 8502 arquivos, cujo tamanho combinado era de 5,42 GB. A maioria desses arquivos vem de pastas de sistema do Windows. Como os tipos de arquivo podem influenciar a velocidade da verificação, a divisão dos principais tipos de arquivo, quantidades e tamanhos totais dos arquivos do conjunto de amostra é apresentada aqui..avi MB.dll MB.exe MB.gif MB.doc MB.docx MB.jpg MB.mp MB.png MB.ppt MB.sys MB.wav MB.wma MB.xls MB.zip MB Sempre que possível, essa verificação foi executada sem iniciar a interface do usuário do produto, mas clicando com o botão direito do mouse na pasta de teste e escolhendo a opção "Verificar Agora, embora alguns produtos exigissem a entrada na interface do usuário para verificar uma pasta. Para registrar o tempo de verificação, usamos o sistema de geração de relatórios ou temporizador de verificação interno do produto. Quando isso não foi possível, os tempos de verificação foram obtidos manualmente com um cronômetro. Para cada produto, cinco amostras foram obtidas, com o computador sendo reinicializado antes de cada amostra para limpar os efeitos do armazenamento em cache pelos sistemas operacionais. Como resultado desse mecanismo, tiramos a média dos quatro tempos de verificação subsequentes para obter um tempo médio de verificação subsequente. Nosso resultado final para esse teste é uma média do tempo médio de verificação subsequente e o tempo da verificação inicial. Teste 4 Média da CPU durante a verificação A ferramenta CPUAvg foi usada para essa métrica. O sistema foi inicializado e aguardou se que ficasse ocioso (aproximadamente cinco minutos após a inicialização). Uma verificação de vírus foi executada em um conjunto predefinido de arquivos, enquanto o CPUAvg era executado durante a verificação. Teste 5 Tempo de inicialização da interface do usuário O tempo de inicialização da interface do usuário de um produto foi obtido usando o AppTimer (v ). Para cada produto testado, obtivemos um total de 15 amostras de cinco conjuntos de três inicializações da interface do usuário, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes. Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial. O AppTimer está disponível publicamente no site da PassMark. Teste de desempenho Página 20 de 24

21 Teste 6 Tempo para abrir um documento do Word O tempo médio de inicialização da interface do Word foi obtido usando o AppTimer. Isso inclui o tempo para iniciar o aplicativo Word 2007 e abrir um documento de 10 MB. Esse teste era praticamente idêntico ao teste de tempo de inicialização da interface do usuário. Para cada produto testado, obtivemos um total de 15 amostras de cinco conjuntos de três inicializações do Word, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes. Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial. Teste 7 Tempo de navegação Usamos um script em conjunto com o HTTPWatch (Basic Edition, versão 6.1) para registrar o tempo levado para carregar um conjunto de 106 sites "populares" consecutivamente de um servidor local. Esse script envia uma lista de URLs para o HTTPWatch, que instrui o navegador a carregar páginas em sequência e monitora o tempo levado pelo navegador para carregar todos os itens de uma página. Para este teste, usamos o Internet Explorer 8 (Versão ) como nosso navegador. O conjunto de sites usado neste teste inclui páginas iniciais de sites de alto tráfego. Dentre eles havia sites de compras, redes sociais, notícias, finanças e sites de referência. O teste de tempo de navegação é executado cinco vezes e o nosso resultado final é uma média dessas cinco amostras. O servidor local é reiniciado a cada produto diferente e uma execução de "teste" inicial é conduzida antes do teste para instalar o Adobe Flash Player, um complemento que é usado por muitos sites populares. Testes de desempenho Página 21 de 24 Edição 1 3 November 2010

22 Teste 8 Taxa de transmissão da rede Este teste mediu o tempo levado para fazer o download de um conjunto de amostra de arquivos binários de tipos e tamanhos variados através de uma conexão de rede de 100 MB/s. Os arquivos estavam hospedados em um servidor que executava o Windows Server 2008 e IIS 7. O CommandTimer.exe foi usado em conjunto com o GNU Wget (versão ) para medir o tempo e conduzir o teste de download. O conjunto de arquivos de amostra completo era composto por bytes em 484 arquivos e duas categorias de tipos de arquivo: arquivos de mídia (74% do total) e documentos (26% do total). A divisão dos tipos de arquivo, quantidades e tamanhos totais dos arquivos do conjunto de amostra é mostrada na seguinte tabela: Formato de arquivo Categoria Quantidade Tamanho (bytes) JPEG Mídia GIF Mídia PNG Mídia MOV Mídia RM Mídia AVI Mídia WMV Mídia MP3 Mídia PDF Documentos ZIP Documentos Z Documentos Total Este teste foi realizado cinco vezes para obter o tempo médio de download dessa amostra de arquivos, com o computador de teste sendo reinicializado a cada amostra para remover os possíveis efeitos do armazenamento em cache. Testes 9-10 Desempenho em tempo real Usamos um único script para os testes de 10 a 15. O script executa os testes de 10 a 15 consecutivamente. O script cronometra cada fase nesses testes usando o CommandTimer.exe e acrescenta os resultados a um arquivo de log. Testes de desempenho Página 22 de 24 Edição 1 3 November 2010