Treinamento em Análise Quantitativa & Planejamento de Capacidade. Virgilio A. F. Almeida

Transcrição

1 Treinamento em Análise Quantitativa & Planejamento de Capacidade Virgilio A. F. Almeida DATAPREV Rio de Janeiro 8 Dezembro de 2009 Módulo #6: Apresentação Gráfica Departamento de Ciência da Computação Universidade Federal de Minas Gerais - UFMG

2 Por que a apresentação gráfica dos resultados importa? Para entender o problema Para explicar aos tomadores de decisão o problema

3 Jogo dos 7 Erros: Por que este não é um bom exemplo?

4 Dois exemplos recentes

5 Nem tudo é gráfico

6 A Arte da Apresentação Gráfica Tipos de Variáveis Regras Práticas para Apresentação de Gráficos Erros Comuns nos Gráficos Mais Exemplos de Apresentação Gráfica Ref: The Visual Display of Quantitative Information, E. Tufte Fontes parciais: material preparado por Geoff Kuenning em 1998, artigos, livros.

7 Qualitativa Tipos de Variáveis i Ordenada Ex:. capacidade de transmissão em rede: linha telefônica, TV-a-cabo, links T1, T3, etc Não ordenada Ex: áreas do conhecimento: biologia, i matemática, computaçãp, física, etc Quantitativa Discreta Ex.: número de usuários simultâneos Contínua Ex.: tempo de execução de um processo

8 Variáveis qualitativas

9 Criando Gráficos Para Variáveis Qualitativas e Quantitativas De maneira geral, variáveis qualitativas são melhor representadas por gráficos de barra ou gráficos do tipo Kiviat. No caso de variáveis ordenadas, gráficos de barra mostram o sentido de ordenação. Variáveis i quantitativas podem ser bem representadas em gráficos do tipo X-Y. Variáveis discretas são adequadas a gráficos de pontos ou gráficos de barras. Variáveis contínuas adequam-se a gráficos de linhas.

10 Gáfi Gráficos de Kiviat i Ajudam no reconhecimento e identificação de problemas de performance Gráfico circular em que as métricas são plotadas sobre retas radiais Parâmetros: 50% HB, 50% LB D id fi ã áfi id l é Devido a essa configuração, o gráfico ideal é uma estrela!

11 Exemplo de Gráfico de Kiviat: objetivos de software Processo de Desenvolvimento Tecnologia 100% Alta qualidade X Qualidade da equipe 100% Satisfação do Usuário Excelência Ambiente Métricas de Desenvolvimento Empresa Alta Típica Produtividade

12 Gráficos de Kiviat Chamados de star charts ou radar plots ½ são HB ( higher h is better ), ½ são LB ( lower is better) Não se precisa ter todos emt 100%,,p pode ser,,por exemplo: 10% busy. Útil para se analisar equilibrio entre métricas HB e LB ( Star (Star é o melhor) HB LB HB LB

13 Gráficos de Kiviati Formas frequentes que podem ser úteis para caracterizar sistemas Pode ser aplicado a qualquer sistema, como por exemplo redes HB Métricas App throughput LB Métricas App response time Link utilization Link overhead Router utilization Router overhead % packets arrive # duplicates % implicit acks % packets with error

14 Gráfico de Kiviat: balanceamento e problemas CPU only busy 10% CPU busy 90% CPU in supervisor state 10% CPU only busy 10% CPU busy 90% CPU in supervisor state 10% CPU/Channel overlap 80% CPU in problem state 80% CPU/Channel overlap 80% CPU in problem state 80% Channel only busy 10% Any Channel busy 90% CPU wait 10% Channel only busy 10% Any Channel busy 90% CPU wait 10%

15 Gráfico de KIVIAT Oito metricas foram medidas para dois sistemas Sistema x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 A B CPU only busy 60% CPU/channel overlap 40% CPU busy 100% channel only busy 0% any channel busy 40% Kiviat i para sistema it A CPU in supervisor state 70% CPU in problem state 30% CPU wait 0% CPU only busy 30% CPU/channel overlap 40% CPU busy 70% channel only busy 30% any channel busy 70% Kiviat para sistema B CPU in supervisor state 40% CPU in problem state 30% CPU wait 30%

16 Gráficos especiais: box plot

17 Gráficos de Gantt Útil para exibir a duração relativa de qualquer número de condições booleanas,, importante para mostrar eficiências e gargalos Cada condição é mostrada como um conjunto de segmentos de reta horizontais Os segmentos de reta são arranjados de forma que a sobreposição das retas indica sobreposição das condições

18 Gráficos de Gantt

19 Gráficos de Gantt

20 Regras Práticas para Fazer Bons Gráficos Princípios da excelência gráfica Princípios dos bons gráficos Sugestões específicas para certas situações Estética Facilidade de compreensão

21 Pi Princípios i da excelência gráfica (1) Excelência Gráfica é uma apresentação bem projetada de dados interessantes: Substância Estatística Projeto

22 Pi Princípios i da excelência gráfica (2) O leitor (observador) obtém do gráfico o seguinte: Maior número de idéias Em um tempo rápido Com menos tinta A excelência gráfica é quase sempre obtida com: Com múltiplas variáveis Requer a verdade d dos dados d

23 Princípios para Bons Gráficos Antes de qualquer coisa, MOSTRE os dados Maximize a relação dados/tinta Diminua a tinta que não representa dados Elimine a tinta de dados redundantes Revise, edite, revise, edite... tinta = o que compõe o gráfico

24 Antes de qualquer coisa, mostre os dados!!! Tempo de leitura (mil lisegundos) y =10 3 x R 2 = Regressão Linear Tamanho arquivo(kbytes)

25 Antes de qualquer coisa, mostre os dados!!! Tempo de le eitura (mili segundos) 4 3 Dados x Regressão Linear 5 y =10 3 x R 2 = Tamanho arquivo(kbytes)

26 Maximize i a Relação Dados/Tinta A B C Med. 1 0 Med. 3

27 Maximize i a Relação Dados/Tinta C 20 A B 0 Medição 1 Medição 2 Medição 3 Medição 4

28 Minimize i i a tinta t dos não-dados d A B C Med. 1 Med. 2 Med. 3 Med. 4

29 Minimize i i a tinta t dos não-dados d A Med. 1 Med. 2 Med. 3 Med. 4

30 Minimize i i a tinta t dos não-dados d C 20.4 B 0 A Med. 1 Med. 2 Med. 3 Med. 4

31 Elimine a Tinta de Dados Redundantes A B C Med. 1 Med. 2 Med. 3 Med. 4

32 Revise e Edite Default Microsoft Powerpoint Chart A 40 B C 20 0 Med. 1 Med. 2 Med. 3 Med. 4

33 Revise e Edite Remova os efeitos decorativos A B 30 C Med. 3 Med. 2 Med. 3 Med. 4

34 Revise e Edite Remova aquilo que gera confusão no gráfico A B 30 C Med. 1 Med. 2 Med. 3 Med. 4

35 Revise e Edite Torne as legendas simples e de fácil interpretação 90 Rede A 80 Rede B Rede C Med. 1 Med. 2 Med. 3 Med. 4

36 Revise e Edite Torne as legendas simples e de fácil interpretação t 100 Rede A Rede B Rede C Med. 1 Med. 2 Med. 3 Med. 4

37 Revise e Edite Elimine problemas oriundos das cores verde e vermelho 100 Rede A Rede B Rede C Med. 1 Med. 2 Med. 3 Med. 4

38 Revise e Edite Escolha Tipos/Fontes Adequados d e Simples 100 Rede A Rede B Rede C Med. 1 Med. 2 Med. 3 Med. 4

39 Ações Específicas a Fazer Forneça a informação que o leitor necessita para entender o gráfico Limite a confusão e complexidade do gráfico O que você quer mostrar com o gráfico: qual o ponto, qual a história? Mostre as estatísticas graficamente Nem sempre os gráficos são a melhor maneira de representar dados experimentais: tabelas, etc Analise o gráfico no texto

40 Dois exemplos recentes

41 Forneça a informação que o leitor necessita Mostre as informações relativas aos eixos Use os eixos para indicar os limites de variação dos valores da variável Coloque rótulos de uma maneira completa e inteligente Enfatize os pontos importantes do gráfico

42 Forneça a informação que o leitor necessita 80 A B 60 C

43 Forneça a informação que o leitor necessita 80 Protocolo Não Testado 60 Falhas em Mihares A B C 0 Med. 1 Med. 2 Med. 3 Med. 4

44 Limite a confusão e complexidade do gráfico Evite o excesso de curvas em um gráfico Use uma única escala para todas as curvas Não use curvas extras Evite decoração desnecessária!

45 Limite a confusão e complexidade do gráfico: seja simples Med. 2 Med. 2 Med. 3 Med A 90 B 80 C 70 D 60 E 50 F 40 G 30 H 20 I 10 J 0

46 Limite a confusão e complexidade Outras Redes Testadas Falhas em Milhares H D 20 0 J Med. 1 Med. 2 Med. 3 Med. 4

47 O que você quer mostrar com o gráfico: qual o ponto? Os gráficos devem acrescentar informações que de outra maneira não estariam explicitamente mostradas ao leitor Não faça gráficos, só porque você coletou informações experimentais Saiba qual ponto do trabalho você esta querendo demonstrar (lembre e das hipóteses), ecet certifique-se quese que o gráfico ajuda a demonstrar ou negar o ponto ou hipótese em questão.

48 Relembre as hipóteses O número de falhas aumentou em 15 entre a medições 1 e 2: Med. 1 Med. 2

49 Relembre as hipóteses Throughput Latência Modem Ethernet ATM Satellite

50 Relembre as hipóteses Uma maneira melhor de mostrar as relações de desempenho Modem Latencia (μ s) 1000 Ethernet Satelite ATM Throughput (Kbits/sec)

51 Mostre as Estatísticas Graficamente Disponha as curvas/barras numa ordem lógica Geográfica Inferior para superior (i.e., pior para melhor) Alfabética, eventualmente As larguras das barras devem refletir largura dos intervalos Pode ser difícil de fazer M i l d fi d f Mostre os intervalos de confiança, quando for o caso, por exemplo, resultados de simulações

52 Nem sempre use gráficos Tabelas são adequadas d para conjuntos de poucos valores Ex.: 10 ou menos Melhor para certos arranjos de dados especialmente se há limitação de espaço no artigo ex.: 10 gráficos de 3 pontos cada As vezes uma sentença no texto resume melhor os dados Uma sentença com a média e desvio padrão Sempre questione se o gráfico é a melhor maneira de dizer ou demonstrar um ponto do trabalho e se o gráfico é capaz de fazê-lo.

53 Texto poderia ser melhor Resultados de um Benchmark Sistema A Sistema B Sistema C Aplic. 1 Aplic. 2 Aplic. 3 Aplic. 1 Aplic. 2 Aplic. 3 Aplic. 1 Aplic. 2 Aplic. 3 Aplic. 4 Aplic. 5 Aplic. 6

54 Analise e discuta no texto t Figuras devem ser auto-explicativas Muitas pessoas (principalmente p os mais seniors ou mais quantitativos), olhem primeiramente as figuras e seus números. Assim, bons podem capturar o leitor de um artigo, como certas fotos capturam o leitor de um jornal. Mas o texto deve enfatizar o que a figura-gráfico gráfico deseja demonstrar, ajudando inclusive a explicá-lo No texto, faça referências explicitas as figuras Aponte o que as figuras significam para as hipóteses e interprete o significado das figuras Amplie o que faz a figura mostra, por exemplo, usando expressões analíticas que reforçam os gráficos

55 Estética Nem todos têm de ser artistas t Mas figuras e gráficos devem ser visualmente agradáveis e atrativas ao leitor A elegância de um projeto está na: Simplicidade do projeto Complexidade dos dados a serem mostrados

56 Alguns princípios de orientação em busca de uma estética Use formatos e layouts adequados aos dados Use uma combinação de texto, número e desenhos Busque equilíbrio, proporção e escala relevante, com relação aos dados e ao artigo Procure manter detalhes e complexidade d controlados Coloque no texto uma descrição narrativa do gráfico Evite decoração excessiva e uso de lixos nos gráficos.

57 Use uma combinação de texto, número e desenhos Coloque os gráficos próximo ao texto que discuta esses gráficos. Mesmo que voce tenha vontade de matar quem projetou o processador de texto que voce usa. Integre texto no gráfico E. Tufte: Gráfico de dados são parágrafos sobre dados e devem ser tratados t como tal.

58 Use uma combinação de texto, número e desenhos

59 Use formatos e layouts adequados aos dados Não produza automaticamente gráficos Saiba porque está colocando o gráfico no texto Escolha um formato gráfico apropriado aos dados e artigo e/ou apresentação Um gráfico de palavras pode ser uma boa solução em alguns casos. l l ã d l Use a localização do texto para comunicar algum ponto importante.

60 Exemplo Profissional: New York Times

61 Busque equilíbrio, proporção e escala relevante Há a necessidade de um senso artístico, nem sempre presente Garanta que o texto possa lido Tipos muito pequenos são adequados apenas para jovens! Linhas finas ajudam a estética Use linhas grossas para realçar alguma informação. A dimensão horizontal deve ser maior que a vertical: ate 50% maior

62 Equilíbrio, proporção e escala relevante O número de falhas 100 nas redes permanece 90 constante, exceto a 80 rede A no mes A rede A tem desempenho claramente inferior a outras no mes Mes 1 Mes 2 Mes 3 Mes 4

63 Melhor Proporção e Equilíbrio i O número de falhas nas redes permanece constante, exceto a rede A no mes 3. A rede A tem desempenho claramente inferior a outras no mes Mes 1 Mes 2 Mes 3 Mes 4

64 Procure manter detalhes e complexidade controlados Projete gráficos agradáveis e informativos : Evite abreviações e codificações Explique os dados d com textos t curtos Coloque rótulos/labels nos gráficos e evite legendas cheias de sombremaneto difíceis de entender. Evite o uso de vermelho e verde Use fontes limpos (ex.: serif) em caso de misturá-los.

65 Um Gráfico Difícil il Time CP 350 FIND 300 FINDGREP 250 GREP 200 LS 150 MAB RCP 100 RM REPL 3 5 7

66 Uma Versão Mais Agradável e Informativa Tempo em Segundos200 Copiar Compilar Remover Observe que não há crescimento nos tempos de compilar/remover Número de Replicas

67 Mais fácil ainda Replicas (note departure from linearity) it Time in Seconds Replica Note slower growth in compile and remove times Copy Compile Remove Benchmark and Number of Replicas

68 Tenha uma história para contar... narrativa de qualidade Pode ser difícil nos artigos técnicos... mas deve existir sempre! Pense nisso ao bolar os gráficos Exemplo: Performance é dominada pela velocidade da rede Mas alcança/esbarra num máximo Devido ao gargalo ( bottleneck ) de CPU

69 Mostrando a história i dos dados... d 60 Transactions per Second CPU bottleneck reached Network Bandwidth (Mbps)

70 Cuidado d na interpretação t dos gráficos Usando origens diferentes de (0,0) para enfatizar diferenças 2610 MINE 5200 YOURS MINE YOURS

71 Cuidado d na interpretação t dos gráficos Indicar intervalos de confiança ajudam a definir o sentido dos dados... (a) Com intervalo de confiança A (a) Sem intervalo de confiança A B B

72 Cuidado d na interpretação t dos gráficos Escalas podem levar a diferentes interpretações Frequência 8 6 Frequência [0,2] [2,4] [4,6] [6,8] [8,10] [10,12] 0 [0,6] [6,12] Tempo de Resposta Tempo de Resposta

73 Seja profissional i Use ferramentas adequadas Mas leva tempo para fazer direito Alinhe tudo corretamente Verifique a versão final no formato a ser usado I.e., imprima o Postscript uma ultima vez antes da submissão Ou veja uma projeção dos slides antes da apresentação

74 Referências Úteis Edward R. Tufte, The Visual Display of Quantitative Information, Graphics Press, Cheshire, hi Connecticut, Edward d R. Tufte, Envisioning Information, Graphics Press, Cheshire, Connecticut, Edward R. Tufte, Visual Explanations, Graphics Press, Cheshire, Connecticut, Darrell Huff, How to Lie With Statistics, W.W. Norton & Co., New York, 1954

75 Erros comuns nos gráficos Excessso de informação Múltiplas escalas Uso de símbolos em lugar de texto Escalas inapropriadas Uso de linhas incorretamente

76 Excesso de Informação Regras do Dedão (Rules of thumb) para limitar o excesso: 6 curvas num grafico de linhas 10 barras num gráfico de baras 8 pedaços num gráfico de pizza Extraia a essência, não misture coisas demais

77 Excesso de Informação Time cp find findgrep grep ls mab rcp rm 1 REPL

78 O que é importante t num gráfico? Tempos para cp e rcp aumentam com o número de replicas Resto do benchmark é mais/menos constante Exatamente constante para rm

79 A Quantidade d Certa de Informação Time cp mab rm Replicas

80 Multiplas l Escalas Outro aspecto que complica... Basicamente, dois superpostos Confunde o leitor (qual linha casa com qual escala?) Pode estabelecer relações inexistentes Pode implicar igualdade d demagnitudes d que não existem...

81 Escalas muito ruims! Throughput 10 Response Time

82 Uso de Símbolos Graficos devem ser auto-explicativos!!!! Lembre-se que gráficos sempre chamam primeiro a atenção do leitor Então use texto explicativo, não símbolos... Isso significa, no Greek letters! A não ser que voce esteja esteja em Atenas ou trabalhe na Belíssima... :-)

83 Isso é grego para mim! w ρ

84 Uma explicação ajuda Witi Waiting Time Witi Waiting Time as a Function of Offered Load Offered Load

85 Escalas Pobres Programas de gráficos adoram origens nonzero Mas pessoas estão acostumadas ao zero Ajuste os intervalos dos eixos (e logaritmos) para passar sua mensagem, Mas não engane... Algumas vezes, cortar dados superiores pode Algumas vezes, cortar dados superiores pode tornar as coisas mais claras Mas enfatiza os detalhes inferiores

86 Origem Nonzero st Qtr 2nd Qtr 3rd Qtr 4th Qtr

87 Com a origem devida st Qtr 2nd Qtr 3rd Qtr 4th Qtr

88 Intervalos dos eixos inadequado d

89 Intervalo Logaritmico i

90 Intervalo truncado

91 Usando linhas incorretamente t Não conecte pontos a não ser que a interpolação faça sentido. Não suavize linhas que são baseadas em amostras Exceção: curvas não lineares fitted

92 Uso incorreto de linhas Time cp mab rm Replicas

93 Exemplos Profissionais

94 Exemplos Profissionais

95 Exemplos Profissionais

96 Exemplos Profissionais: New York Times

97 Exemplos Profissionais: New York Times

98 Exemplos Profissionais: New York Times

99 Planejamento de Capacidade: outras indústrias ias

100 Sumário Qualitativo/Quantitativo, Ordenado/não ordenado e variáveis discretas/contínuas devem ser bem observados Bons gráficos devem requerer esforço mínimo do leitor e oferecer ece o máximo de informação com pouca tinta. Não coloque mais que 5-6 curvas num único gráfico. Gráficos de Kiviat mostram métricas HB e LB alternativamente em um gráfico circular. Gráficos especiais (box plot) mostram média e variação. Workload, métricas, configurações e detalhes requerem projeto cuidadoso para criar os gráficos.