Treinamento em Análise Quantitativa & Planejamento de Capacidade. Virgilio A. F. Almeida

Transcrição

1 Treinamento em Análise Quantitativa & Planejamento de Capacidade Virgilio A. F. Almeida DATAPREV Rio de Janeiro 07 Dezembro de 2009 Módulo Revisão Departamento de Ciência da Computação Universidade Federal de Minas Gerais - UFMG

2 Enfoque sistemático para estudos de avaliação de desempenho 1. Dfi Defina os objetivos e o sistema em estudo 2. Liste os serviços e os produtos do sistema 3. Selecione métricas 4. Liste os parâmetros 5. Selecione os fatores a estudar 6. Selecione as técnicas de avaliação 7. Selecione a carga de trabalho ( workload ) 8. Projeto de experimentos 9. Analise e interprete os resultados 10.Apresente os resultados adequadamente Repita o processo Virgilio Almeida, UFMG 2009

3 Processo Experimental Sistemático 1. Entenda o problema, estabeleça as perguntas e defina os objetivos: A problem well-stated is half-solved. Deve-se ser objetivo Seja capaz de responder por que, e também como 2. Selecione ec e métricas que ajudarão analisar a as perguntas.

4 Analyzing Web Robots and Their Impact on Caching Virgilio Almeida Rudolf Riedi Rodrigo Fonseca Daniel Menascé Flávia Peligrinelli Wagner Meira Jr. Dept. Computer Science, Federal University of Minas Gerais, Brazil Dept. Computer Science, George Mason University Dept. of Elect. and Comp. Eng., Rice University Web Caching Workshop and ACM Sigmetrics wcw01-proceedings/101_almeida.pdf

5 Onde e quais são as falhas do estudo? Analisar à luz de um método

6 Motivation Non-Human Request Sources Vague idea: non-human requests are different from human generated Web requests. Robots are used frequently and for several tasks (crawling, prefetching, price comparison, ) Crawlers Search Engines, Resource Discovery Agents, DB Dumpers, Collectors, Site Maintenance Automated, programmed behavior Shopbots Meta Searchers, Price Comparers Human Triggered Proxies Varying server QoS requirements

7 Initial Questions How can we identify robots? How do robots affect reference locality? How should we handle robot s requests at both proxies and servers? What is the impact of robots on the system behavior? Por que essas são questões relevantes? Como você as faria hoje?

8 Processo Experimental Sistemático 1. Entenda o problema, estabeleça as perguntas e defina os objetivos: A problem well-stated is half-solved. Deve-se ser objetivo Seja capaz de responder por que, e também como 2. Selecione ec e métricas que ajudarão analisar a as perguntas.

9 Multi-layered layered Hierarchical Workload Model and Metrics Business Level 3. User Level Session Layer 2. Application Level Function Layer 1. Protocol Level HTTP Request Layer Resource Level

10 Robot Identifying i Metrics Session Layer Session Length Function Distribution Function Layer Human Only Functions Object Popularity Request Layer Arrival process

11 Summary of the Identification Criteria i

12 Processo Experimental Sistemático 3. Identifique os parâmetros que afetam o comportamento Parâmetros do sistema (ex.: configuração de hardware) Parâmetros da carga (workload, ex.: padrões de chegada de requisições) 4. Decida quais parâmetros serão estudados, i.e., serão variados.

13 Data Analyzed We analyzed three logs Online Bookstore UC Berkeley CS Department 1998 World Cup Web Site Source Bookstore Berkeley World Cup Site Interval Aug Jun May-98 Number of requests 3,630,964 3,643,208 2,225,475 Number of functions 955,818 2,038, ,719 % of Robot's Functions 33.51% 16.53% 6.46% Number of Sessions 130, ,242 33,995 Avg. Robot Session Length 2, , ,

14 Processo Experimental Sistemático 5. Selecione a técnica: Medição de uma implementação de protótipo Quão invasivo? i Podemos quantificar o overhead da monitoração? Podemos medir o que desejamos? Simulação quão detalhada? Como será a validação? Repetibilidade 6. Selecione a carga de trabalho (workload) Representativa? ti É aceita pela comunidade científica? Disponibilidade de dados?

15 Processo Experimental Sistemático 5. Selecione a técnica: Medição de uma implementação de protótipo Quão invasivo? i Podemos quantificar o overhead da monitoração? Podemos medir o que desejamos? Simulação quão detalhada? Como será a validação? Repetibilidade 6. Selecione a carga de trabalho (workload) Representativa? ti É aceita pela indústria, Dataprev? Disponibilidade de dados?

16 Workload: Logs Analyzed We analyzed three logs Online Bookstore UC Berkeley CS Department 1998 World Cup Web Site Source Bookstore Berkeley World Cup Site Interval Aug Jun May-98 Number of requests 3,630,964 3,643,208 2,225,475 Number of functions 955,818 2,038, ,719 % of Robot's Functions 33.51% 16.53% 6.46% Number of Sessions 130, ,242 33,995 Avg. Robot Session Length 2, , ,

17 Processo Experimental Sistemático 7. Execute experimentos Quantos testes devem ser rodados? Quantas combinações dos parâmetros que formam o ambiente experimental? Análise da sensibilidade dos outros parâmetros. 8. Analise e interprete t os resultados Use Estatistica para analisar a variabilidade, d outliers, etc.

18 Processo Experimental Sistemático 7. Execute experimentos Quantos testes devem ser rodados? Quantas combinações dos parâmetros que formam o ambiente experimental? Análise da sensibilidade dos outros parâmetros. 8. Analise e interprete t os resultados Use Estatistica para analisar a variabilidade, d outliers, etc.

19 Processo Experimental Sistemático 7. Apresente adequadamente os resultados e dados do experimento Gráficos: a questão da visualização dos resultados, distribuições estatísticas, etc. 8. Apresente conclusões Para onde os resultados nos levam? Quais os próximos passos Novas hipóteses, novas questões, outros experimentos.

20 Session Layer Session Length Sessions longer than 500 requests

21 Session Layer Function Distribution ShopBots Crawlers Function Frequency # Visits View 38.30% 6221 Function Frequency # Visits Browse 36.50% 5926 Aux 13.60% 2208 Home 0.12% 36 Home 4.40% 716 Others 0.05% 14 Search 2.60% 415 Search 99.83% Acc 2.20% 20% 364 Add 2.10% 339 Others 0.21% 34 Robot 0.01% 1

22 Session Characterization: CBMG

23 Function Layer Popularity of Objects ShopBots Crawlers

24 Request Layer IAT Distribution ShopBots Crawlers Approx. by an exponential-poisson Approx. by log-normal distributions

25 Request Layer IAT Distribution Approx. by an exponential-poisson Approx. by log-normal distributions

26 Request Layer Request Arrival Process ShopBots Crawlers

27 Processo Experimental Sistemático 7. Apresente adequadamente os resultados e dados do experimento Gráficos: a questão da visualização dos resultados, distribuições estatísticas, etc. 8. Apresente conclusões Para onde os resultados nos levam? Quais os próximos passos Novas hipóteses, novas questões, outros experimentos.

28 Evaluating Impact on Cache: a first cut Assumptions Server side caching system Used the Bookstore log Caching of search and info requests Response to queries (possibly truncated) Information records about books Uniformly sized objects LRU replacement policy Simple Baseline performance

29 LRU Stack Simulation Let S t be the ordering by recency of reference of all objects seen up to time t The LRU stack distance of object o referenced at time t+1 is defined as if it is the first reference to o i if it is the i-th element on S t Reference Stream Distance Stream Miss Ratio P[D>c] = 1 CDF(D) = Miss ratio for cache of size c

30 Simulation Input Request streams Full log (all requests) Crawlers Shopbots No-robots

31 Miss Ratio x Cache Size Robots ShopBots Crawlers

32 Miss Ratio x Cache Size Miss Ratio x Cache Size No-Robots log

33 Conclusions On the classification Combination of several criteria necessary and effective Multi-scale time analysis able to show short load peaks On the Impact of Robots Significantly increase in miss ratio Crawlers disrupt locality assumptions Increase workload (globally and with bursts)

34 Estudo de caso: Remote Pipes vc RPC System Client Network Server Serviços: Small data transfer or large data transfer. Virgilio Almeida, UFMG 2009

35 Estudo de caso: Remote Pipes vc RPC Metricas: Sem erros e falhas, operação correta somente. Taxa, tempo e uso de recurso por serviço Recurso: Client, Server, Network Isso leva as seguintes métricas Elapsed time per call. Maximum call rate per unit of time, ou equivalentemente o tempo requerido para completar um bloco de n successive calls. Local CPU time per call. RemoteCPUtime time percall call. Number of bytes sent on the link por call transfer Virgilio Almeida, UFMG 2009

36 Estudo de caso: Remote Pipes vc RPC Parâmetros do sistema: Speed of the local CPU. Speed of the remote CPU. Speed of the network. Operating system overhead for interfacing with the channels. Operating system overhead for interfacing with the networks. Reliability of the network affecting the number of retransmissions required. Virgilio Almeida, UFMG 2009

37 Estudo de caso: Remote Pipes vc RPC Parâmetros da Workload Time between successive calls. Number and sizes of the call parameters. Number and sizes of the results. Type of channel. Other loads on the local and remote CPUs. Other loads on the network. Virgilio Almeida, UFMG 2009

38 Estudo de caso: Remote Pipes vc RPC Fatores Type of channel: Remote pipes and remote procedure calls Size of the Nt Network: kshort distance and long distance Sizes of the call parameters: small and large. Número de n of consecutive calls=block size: 1, 2, 4, 8, 16, 32,, 512, and Observação Fixo: tipo de CPUs e operating systems. São ignoradas retransmissões devido a erros de rede Mdiõ Medições ocorrem em ambiente controlado, ld sem nenhuma outra carga nos hosts e na rede. Virgilio Almeida, UFMG 2009

39 Estudo de caso: Remote Pipes vc RPC Técnica de Avaliação: Implementação de prototipos Medições. Uso de modelos dl analíticos para validação Workload Programa sintético gerando tipos especificados de channel requests. Channel requests nulos Recursos usados na monitoração e logs. Projeto Experimental (Experimental Design) Um experimento do tipo full factorial com 23 11=88 experimentos realizados. Virgilio Almeida, UFMG 2009

40 Estudo de caso: Remote Pipes vc RPC Análise dos dados Análise estatística, média, variância, etc. Regressão para o número de n of successive calls. Apresentação gráfica dos dados Os resultados finais serão plotados como função do block size n. Virgilio Almeida, UFMG 2009

41 Erros Comuns em Estudos de Performance 1. Falta de objetivos claros qual a finalidade do estudo/modelo? objetivos técnicas, métricas e workload nãoé tão simples assim 2. Objetivos tendenciosos, enviesados ou... " mostrar a posteriori que a decisão X deve tomada 3. Falta de um método, de um enfoque sistemático 4. Análises sem entendimento do problema 5. Métricas incorretas/inadequadas de desempenho 6. Carga de trabalho não representativa 7. Técnica incorreta de avaliação 8. Ignorar parâmetros importantes Virgilio Almeida, UFMG 2009

42 Erros Comuns em Estudos de Performance 9. Ignorar fatores significantes 10. Projeto experimental não apropriado 11. Nível de detalhe inadequado 12. Falta de análise 13. Análise errada 14. Ausência de analise de sensibilidade 15. Ignorar erros de dados de entrada 16. Tratamento inadequado de outliers 17. Assumir que o futuro não muda 18. Ignorar variabilidade 19. Análise muito complicada 20. Apresentação inadequada dos resultados e experimentos 21. Omitir hipóteses e limitações do estudo Virgilio Almeida, UFMG 2009

43 Checklist para evitar erros comuns O sistema está corretamente definido e os claramente estabelecidos? Os goals forram estabelecidos de maneira neutra, não tendenciosa? Todos os passos da metodologia foram sistematicamente seguidos? O problema foi claramente especificado antes da análise? As métricas de desempenho são apropriadas e significativas para o estudo? A carga de trabalho é adequada para esse problema? A técnica de avaliáção é adequada ao problema? A lista de parâmetros que afeta o problema está completa? As variações dos fatores estão especificadas? Virgilio Almeida, UFMG 2009

44 Checklist para evitar erros comuns Os dados medidos formam devidamente analisados e interpretados? Os dados medidos são estatisticamente corretos? Foi uma análise sensibilidade e sanidade nos dados medidos? Os outliers forma tratados adequadamente? A variância dos dados de entrada foi analisada? A variância dos resultados foi analisada? A análise do problema é fácil de explicar? O estilo da apresentação dos resultados é adequada para audiência? Os gráficos de resultados podem ser melhorados? As limitações e hipóteses assumidas pelo estudo estão claramente documentadas? Virgilio Almeida, UFMG 2009

45 Sumário As técnicas de análise, métricas e workload dependem diretamente da finalidade e objetivos do estudo. Métricas são baseadas nos serviços oferecido pelo sistema. Os parâmetros do sistema e workload determinam o conjunto adequado de experimentos. Análise adequada e apresentação dos resultados são fundamentais para o sucesso do projeto. Virgilio Almeida, UFMG 2009

46 Trabalho Considere que o sistema é um servidor dentro da arquitetura da Dataprev. Especifique o seguinte para o sistema selecionado Serviços Métricas de performance Parâmetros do sistema Parâmetros da carga de de trabalho/workload Fatores e seus intervalos Técnicas de avaliação Workload Justifique suas escolhas. Cada grupo de dois deve apresentar sua solução para a turma dentro de 1 hora.