Métodos Quantitativos para Ciência da Computação Experimental -Bloco #8-

Transcrição

1 Métodos Quantitativos para Ciência da Computação Experimental -Bloco #8- Apresentação Gráfica de Resultados Experimentais Virgílio A. F. Almeida Junho de 2008 Departamento de Ciência da Computação Universidade Federal de Minas Gerais

2 Jogo dos 7 Erros: Por que este não é um bom exemplo?

3 Dois exemplos recentes

4 A Arte da Apresentação Gráfica Tipos de Variáveis Regras Práticas para Apresentação de Gráficos Erros Comuns nos Gráficos Mais Exemplos de Apresentação Gráfica Ref: The Visual Display of Quantitative Information, E. Tufte Adaptado e ampliado de material preparado por Geoff Kuenning em 1998.

5 Tipos de Variáveis Qualitativa Ordenada Ex:. capacidade de transmissão em rede: linha telefônica, TV-a-cabo, links T1, T3, etc Não ordenada Ex: áreas do conhecimento: biologia, matemática, computaçãp, física, etc Quantitativa Discreta Ex.: número de usuários simultâneos Contínua Ex.: tempo de execução de um processo

6 Criando Gráficos Para Variáveis Qualitativas e Quantitativas De maneira geral, variáveis qualitativas são melhor representadas por gráficos de barra ou gráficos do tipo Kiviat. No caso de variáveis ordenadas, gráficos de barra mostram o sentido de ordenação. Variáveis quantitativas podem ser bem representadas em gráficos do tipo X-Y. Variáveis discretas são adequadas a gráficos de pontos ou gráficos de barras. Variáveis contínuas adequam-se a gráficos de linhas.

7 Exemplo de Gráfico de Kiviat: objetivos de software Processo de Desenvolvimento Tecnologia 100% Alta qualidade Qualidade da equipe 100% Satisfação do Usuário Excelência Ambiente Métricas de Desenvolvimento Alta Produtividade Média da Empresa X

8 Gráficos de Kiviat Chamados de star charts ou radar plots ½ são HB ( higher is better ), ½ são LB ( lower is better) Não se precisa ter todos emt 100%, pode ser, por exemplo: 10% busy. Útil para se analisar equilibrio entre métricas HB e LB ( Star é o melhor) HB LB HB LB

9 Gráficos de Kiviat Formas frequentes que podem ser úteis para caracterizar sistemas Pode ser aplicado a qualquer sistema, como por exemplo redes HB Métricas App throughput Link utilization Router utilization LB Métricas App response time Link overhead Router overhead % packets arrive # duplicates % implicit acks % packets with error

10 Gráfico de KIVIAT Oito metricas foram medidas para dois sistemas Sistema x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 A B CPU only busy 60% CPU/channel overlap 40% CPU busy 100% channel only busy 0% any channel busy 40% Kiviat para sistema A CPU in supervisor state 70% CPU wait 0% CPU in problem state 30% CPU only busy 30% CPU/channel overlap 40% CPU busy 70% channel only busy 30% any channel busy 70% Kiviat para sistema B CPU in supervisor state 40% CPU wait 30% CPU in problem state 30%

11 Regras Práticas para Fazer Bons Gráficos Princípios da excelência gráfica Princípios dos bons gráficos Sugestões específicas para certas siutuações Estética Facilidade de compreensão

12 Princípios da excelência gráfica (1) Excelência Gráfica é uma apresentação bem projetada de dados interessantes: Substância Estatística Projeto

13 Princípios da excelência gráfica (2) O leitor (observador) obtém do gráfico o seguinte: Maior número de idéias Em um tempo rápido Com menos tinta A excelência gráfica é quase sempre obtida com: Com múltiplas variáveis Requer a verdade dos dados

14 Princípios para Bons Gráficos Antes de qualquer coisa, MOSTRE os dados Maximize a relação dados/tinta Diminua a tinta que não representa dados Elimine a tinta de dados redundantes Revise, edite, revise, edite... tinta = o que compõe o gráfico

15 Antes de qualquer coisa, mostre os dados!!! Tempo de leitura (milisegundos) y =10 3 x R 2 = Tamanho arquivo(kbytes) Regressão Linear

16 Antes de qualquer coisa, mostre os dados!!! Tempo de leitura (milisegundos) Dados x Regressão Linear y =10 3 x R 2 = Tamanho arquivo(kbytes)

17 Maximize a Relação Dados/Tinta Med. 1 A B C Med. 3

18 Maximize a Relação Dados/Tinta C 20 A B 0 Medição 1 Medição 2 Medição 3 Medição 4

19 Minimize a tinta dos não-dados Med. 1 Med. 2 Med. 3 Med. 4 A B C

20 Minimize a tinta dos não-dados A B C Med. 1 Med. 2 Med. 3 Med. 4

21 Minimize a tinta dos não-dados C 20.4 B 0 A Med. 1 Med. 2 Med. 3 Med. 4

22 Elimine a Tinta de Dados Redundantes A B C Med. 1 Med. 2 Med. 3 Med. 4

23 Revise e Edite Default Microsoft Powerpoint Chart A B C 0 Med. 1 Med. 2 Med. 3 Med. 4

24 Revise e Edite Remova os efeitos decorativos Med. 3 Med. 2 Med. 3 Med. 4 A B C

25 Revise e Edite Remova aquilo que gera confusão no gráfico Med. 1 Med. 2 Med. 3 Med. 4 A B C

26 Revise e Edite Torne as legendas simples e de fácil interpretação Rede A Rede B Rede C Med. 1 Med. 2 Med. 3 Med. 4

27 Revise e Edite Torne as legendas simples e de fácil interpretação Rede A Rede B Rede C Med. 1 Med. 2 Med. 3 Med. 4

28 Revise e Edite Elimine problemas oriundos das cores verde e vermelho Rede A Rede B Rede C Med. 1 Med. 2 Med. 3 Med. 4

29 Revise e Edite Escolha Tipos/Fontes Adequados e Simples Rede A Rede B Rede C Med. 1 Med. 2 Med. 3 Med. 4

30 Ações Específicas a Fazer Forneça a informação que o leitor necessita para entender o gráfico Limite a confusão e complexidade do gráfico O que você quer mostrar com o gráfico: qual o ponto, qual a história? Mostre as estatísticas graficamente Nem sempre os gráficos são a melhor maneira de representar dados experimentais: tabelas, etc Analise o gráfico no texto

31 Forneça a informação que o leitor necessita Mostre as informações relativas aos eixos Use os eixos para indicar os limites de variação dos valores da variável Coloque rótulos de uma maneira completa e inteligente Enfatize os pontos importantes do gráfico

32 Forneça a informação que o leitor necessita A B C

33 Forneça a informação que o leitor necessita 80 Protocolo Não Testado 60 Falhas em Mihares A B C 0 Med. 1 Med. 2 Med. 3 Med. 4

34 Limite a confusão e complexidade do gráfico Evite o excesso de curvas em um gráfico Use uma única escala para todas as curvas Não use curvas extras Evite decoração desnecessária!

35 Limite a confusão e complexidade do gráfico: seja simples Med. 2 Med. 2 Med. 3 Med A 90 B 80 C 70 D 60 E 50 F 40 G 30 H 20 I 10 J 0

36 Limite a confusão e complexidade Outras Redes Testadas Falhas em Milhares H D 20 0 J Med. 1 Med. 2 Med. 3 Med. 4

37 O que você quer mostrar com o gráfico: qual o ponto? Os gráficos devem acrescentar informações que de outra maneira não estariam explicitamente mostradas ao leitor Não faça gráficos, só porque você coletou informações experimentais Saiba qual ponto do trabalho você esta querendo demonstrar (lembre das hipóteses), e certifique-se que o gráfico ajuda a demonstrar ou negar o ponto ou hipótese em questão.

38 Relembre as hipóteses O número de falhas aumentou em 15 entre a medições 1 e 2: Med. 1 Med. 2

39 Relembre as hipóteses Throughput Modem Ethernet ATM Satellite Latência

40 Relembre as hipóteses Uma maneira melhor de mostrar as relações de desempenho Latencia (µ s) Modem Ethernet Satelite ATM Throughput (Kbits/sec)

41 Mostre as Estatísticas Graficamente Disponha as curvas/barras numa ordem lógica Geográfica Inferior para superior (i.e., pior para melhor) Alfabética, eventualmente As larguras das barras devem refletir largura dos intervalos Pode ser difícil de fazer Mostre os intervalos de confiança, quando for o caso, por exemplo, resultados de simulações

42 Nem sempre use gráficos Tabelas são adequadas para conjuntos de poucos valores Ex.: 10 ou menos Melhor para certos arranjos de dados especialmente se há limitação de espaço no artigo ex.: 10 gráficos de 3 pontos cada As vezes uma sentença no texto resume melhor os dados Uma sentença com a média e desvio padrão Sempre questione se o gráfico é a melhor maneira de dizer ou demonstrar um ponto do trabalho e se o gráfico é capaz de fazê-lo.

43 Texto poderia ser melhor Resultados de um Benchmark Sistema A Sistema B Sistema C Aplic. 1 Aplic. 2 Aplic. 3 Aplic. 1 Aplic. 2 Aplic. 3 Aplic. 1 Aplic. 2 Aplic. 3 Aplic. 4 Aplic. 5 Aplic. 6

44 Analise e discuta no texto Figuras devem ser auto-explicativas Muitas pessoas (principalmente os mais seniors ou mais quantitativos), olhem primeiramente as figuras e seus números. Assim, bons podem capturar o leitor de um artigo, como certas fotos capturam o leitor de um jornal. Mas o texto deve enfatizar o que a figura-gráfico deseja demonstrar, ajudando inclusive a explicá-lo No texto, faça referências explicitas as figuras Aponte o que as figuras significam para as hipóteses e interprete o significado das figuras Amplie o que faz a figura mostra, por exemplo, usando expressões analíticas que reforçam os gráficos

45 Estética Nem todos têm de ser artistas Mas figuras e gráficos devem ser visualmente agradáveis e atrativas ao leitor A elegância de um projeto está na: Simplicidade do projeto Complexidade dos dados a serem mostrados

46 Alguns princípios de orientação em busca de uma estética Use formatos e layouts adequados aos dados Use uma combinação de texto, número e desenhos Busque equilíbrio, proporção e escala relevante, com relação aos dados e ao artigo Procure manter detalhes e complexidade controlados Coloque no texto uma descrição narrativa do gráfico Evite decoração excessiva e uso de lixos nos gráficos.

47 Use uma combinação de texto, número e desenhos Coloque os gráficos próximo ao texto que discuta esses gráficos. Mesmo que voce tenha vontade de matar quem projetou o processador de texto que voce usa. Integre texto no gráfico E. Tufte: Gráfico de dados são parágrafos sobre dados e devem ser tratados como tal.

48 Use uma combinação de texto, número e desenhos

49 Use formatos e layouts adequados aos dados Não produza automaticamente gráficos Saiba porque está colocando o gráfico no texto Escolha um formato gráfico apropriado aos dados e artigo e/ou apresentação Um gráfico de palavras pode ser uma boa solução em alguns casos. Use a localização do texto para comunicar algum ponto importante.

50 Exemplo Profissional: New York Times

51 Busque equilíbrio, proporção e escala relevante Há a necessidade de um senso artístico, nem sempre presente Garanta que o texto possa lido Tipos muito pequenos são adequados apenas para jovens! Linhas finas ajudam a estética Use linhas grossas para realçar alguma informação. A dimensão horizontal deve ser maior que a vertical: ate 50% maior

52 Equilíbrio, proporção e escala relevante O número de falhas nas redes permanece constante, exceto a rede A no mes 3. A rede A tem desempenho claramente inferior a outras no mes Mes 1 Mes 2 Mes 3 Mes 4

53 Melhor Proporção e Equilíbrio O número de falhas nas redes permanece constante, exceto a rede A no mes 3. A rede A tem desempenho claramente inferior a outras no mes Mes 1 Mes 2 Mes 3 Mes 4

54 Procure manter detalhes e complexidade controlados Projete gráficos agradáveis e informativos : Evite abreviações e codificações Explique os dados com textos curtos Coloque rótulos/labels nos gráficos e evite legendas cheias de sombremaneto difíceis de entender. Evite o uso de vermelho e verde Use fontes limpos (ex.: serif) em caso de misturá-los.

55 Um Gráfico Difícil Time REPL CP FIND FINDGREP GREP LS MAB RCP RM

56 Uma Versão Mais Agradável e Informativa Tempo em Segundos200 Copiar Compilar Remover Observe que não há crescimento nos tempos de compilar/remover Número de Replicas

57 Mais fácil ainda Replicas (note departure from linearity) Time in Seconds Replica Note slower growth in compile and remove times Copy Compile Remove Benchmark and Number of Replicas

58 Tenha uma história para contar... narrativa de qualidade Pode ser difícil nos artigos técnicos... mas deve existir sempre! Pense nisso ao bolar os gráficos Exemplo: Performance é dominada pela velocidade da rede Mas alcança/esbarra num máximo Devido ao gargalo ( bottleneck ) de CPU

59 Mostrando a história dos dados Transactions per Second CPU bottleneck reached Network Bandwidth (Mbps)

60 Seja profissional Use ferramentas adequadas Mas leva tempo para fazer direito Alinhe tudo corretamente Verifique a versão final no formato a ser usado I.e., imprima o Postscript uma ultima vez antes da submissão Ou veja uma projeção dos slides antes da apresentação

61 Referências Úteis Edward R. Tufte, The Visual Display of Quantitative Information, Graphics Press, Cheshire, Connecticut, Edward R. Tufte, Envisioning Information, Graphics Press, Cheshire, Connecticut, Edward R. Tufte, Visual Explanations, Graphics Press, Cheshire, Connecticut, Darrell Huff, How to Lie With Statistics, W.W. Norton & Co., New York, 1954

62 Erros comuns nos gráficos Excessso de informação Múltiplas escalas Uso de símbolos em lugar de texto Escalas inapropriadas Uso de linhas incorretamente

63 Excesso de Informação Regras do Dedão (Rules of thumb) para limitar o excesso: 6 curvas num grafico de linhas 10 barras num gráfico de baras 8 pedaços num gráfico de pizza Extraia a essência, não misture coisas demais

64 Excesso de Informação Time cp find findgrep grep ls mab rcp rm 1 REPL

65 O que é importante num gráfico? Tempos para cp e rcp aumentam com o número de replicas Resto do benchmark é mais/menos constante Exatamente constante para rm

66 A Quantidade Certa de Informação Time cp mab rm Replicas

67 Multiplas Escalas Outro aspecto que complica... Basicamente, dois superpostos Confunde o leitor (qual linha casa com qual escala?) Pode estabelecer relações inexistentes Pode implicar igualdade demagnitudes que não existem...

68 Escalas muito ruims! Throughput Response Time

69 Uso de Símbolos Graficos devem ser auto-explicativos!!!! Lembre-se que gráficos sempre chamam primeiro a atenção do leitor Então use texto explicativo, não símbolos... Isso significa, no Greek letters! A não ser que voce esteja esteja em Atenas ou trabalhe na Belíssima... :-)

70 Isso é grego para mim! w ρ

71 Uma explicação ajuda Waiting Time Waiting Time as a Function of Offered Load Offered Load

72 Escalas Pobres Programas de gráficos adoram origens nonzero Mas pessoas estão acostumadas ao zero Ajuste os intervalos dos eixos (e logaritmos) para passar sua mensagem, Mas não engane... Algumas vezes, cortar dados superiores pode tornar as coisas mais claras Mas enfatiza os detalhes inferiores

73 Origem Nonzero st Qtr 2nd Qtr 3rd Qtr 4th Qtr

74 Com a origem devida st Qtr 2nd Qtr 3rd Qtr 4th Qtr

75 Intervalos dos eixos inadequado

76 Intervalo Logaritmico

77 Intervalo truncado

78 Usando linhas incorretamente Não conecte pontos a não ser que a interpolação faça sentido. Não suavize linhas que são baseadas em amostras Exceção: curvas não lineares fitted

79 Uso incorreto de linhas Time cp mab rm Replicas

80 Exemplo Profissional: Nature