1 Process and Pitfalls in Writing Information Visualization Research Papers Tamara Munzner Renato Rodrigues Oliveira da Silva
2 Sumário 1. Tipo de artigo 2. Representação visual 3. Estrutura: Estratégia e resultados 4. Escrita: Estilo e submissão do artigo
3 Métodos de validação Análise de complexidade algorítmica Performance da implementação (velocidade) Métricas quantitativas Discussão qualitativa das imagens Insights encontrados Adoção da ferramenta pela comunidade Estudo de usabilidade Estudo com usuário no laboratório Estudo com usuário no ambiente externo Justificativa do design a partir de análise de tarefas Justificativa da representação visual a partir de teorias
4 Tipo de artigo Definir inicialmente o propósito da pesquisa Que tipo de artigo se deseja produzir? Que estratégias de validação empregar? Quais as contribuições? De acordo com o propósito, os artigos podem ser classificados em cinco categorias: Técnica, Estudo de design, Sistema, Estudo de usuário, Modelo. Cada categoria possui suas armadilhas específicas
5 Tipo de artigo Técnica Tem como foco novos algoritmos (deve apresentar uma implementação) Alegação de algoritmo mais rápido, escalável e maior qualidade visual que as propostas anteriores Comparação por medidas quantitativas (tempo) e qualitativas (discussão das visualização criada)
6 Tipo de artigo Estudo de design Estudo de representações visuais adequadas para problemas de um domínio particular 1. Análise do domínio 2. Requisitos de design 3. Representação visual e mecanismos de interação 4. Comparar com resultados de outras abordagens Como técnicas existentes podem ser combinadas
Tipo de artigo Sistema Relata escolhas de arquitetura no desenvolvimento de um sistema Não apresenta novos designs para solucionar problemas de um domínio estudo de design Discussão de escolhas de projeto e abstrações em uma biblioteca Ex.: Prefuse 1 Quais lições aprendidas no desenvolvimento? [1] J. Heer, S. K. Card, and J. A. Landay. prefuse: a toolkit for interactive information visualization. In Proc. ACM Conf. Human Factors in Computing Systems (CHI), pages 421-430, 2005. 7
8 Tipo de artigo Estudo de usuário Estuda como uma técnica é usada por um tipo específico de usuário Pode ser conduzido em um laboratório Medidas quantitativas: tempo e acurácia Pode ser conduzido no ambiente do usuário Número menor de participantes Conduzido por um tempo maior
9 Tipo de artigo Modelo Objetiva auxiliar pesquisadores a pensar sobre o próprio trabalho Taxonomia: Propor uma nova categorização de uma área Formalismo: Observação reflexiva apresentar novos modelos, definições ou terminologias, de uma forma clara Comentário: Suporte a observações Evite fazer X devido a essas desvantagens..., Essa área precisa de mais Y...
10 Tipo de artigo Design in Technique s Clothing É proposto um novo design sem as devidas justificativas Não avaliar apenas performance! Application Bingo vs Design Study Técnica aleatória para tratar um problema Não aplicar uma técnica a um problema sem prévia análise do problema e se a técnica é adequada Alegar novidade técnica/domínio particular
11 Tipo de artigo Neither Fish Nor Fowl Ao atacar múltiplas categorias, não obter sucesso em nenhuma delas É necessário identificar contribuição principal e escolher estratégias de validação adequadas
12 Sumário 1. Tipo de artigo 2. Representação visual 3. Estrutura: Estratégia, tática e resultados 4. Escrita: Estilo e submissão do artigo
13 Representação visual Por que a representação visual é adequada? Se for a melhoria de uma técnica, o argumento pode ser uma citação do artigo que propôs a técnica Já em um estudo de design, é necessário convencer o leitor: que requisitos o domínio possui? Como o conhecimento sobre a percepção humana pode auxiliar nesse processo 2? [2] J. D. Mackinlay. Automating the Design of Graphical Presentations of Relational Information. ACM Trans. On Graphics (TOG), 5(2):111-141, 1986
14 Representação visual Hammer In Search Of Nail Difícil julgar a validade de uma técnica sem discutir a sua necessidade Uma técnica pode ser motivada por problemas de um domínio específico Antes de propor um martelo, entender com que tipo de prego ele pode lidar
15 Representação visual 2D Good, 3D Better Optar por um layout 3D requer um estudo dos benefícios e dos problemas O tipo de dados é inerentemente 3D? Comparar visualizações com a memória é mais difícil que comparar com visualizações simultâneas lado a lado 3 [3] M. Plumlee and C. Ware. Zooming versus multiple window interfaces: Cognitive costs of visual comparisons. Proc. ACM Trans. On Computer-Human Interaction (ToCHI), 13(2):179-209, 2006.
16 Representação visual Color Cacophony Avaliar características de percepção de cores ao mapear cores na visualização Como mapear grande quantidade de classes utilizando apenas a cor para representar? Como analisar áreas pequenas em uma grande região densamente colorida?
17 Sumário 1. Tipo de artigo 2. Representação visual 3. Estrutura: Estratégia e resultados 4. Escrita: Estilo e submissão do artigo
18 Estrutura: Estratégia e resultados Momento em que o trabalho de pesquisa foi finalizado, e antes de escrever o artigo Certas decisões podem causar problemas em seções específicas ou no artigo todo
19 Estrutura: Estratégia What I Did Over My Summer Vacation Escolher o que abordar de acordo com as contribuições da pesquisa Mesmo etapas custosas podem contribuir com apenas algumas linhas do artigo Dar mais atenção ao foco da contribuição aumenta a relevância do texto
20 Estrutura: Estratégia Least Publishable Unit Cuidado ao multiplicar a quantidade de artigos com apenas contribuições muito pequenas Contribuição muito pequena é subjetiva Dense As Plutonium Não abordar um número excessivo de contribuições de uma vez só Torna o texto difícil de ler fluxo de ideias denso
21 Estrutura: Estratégia Stealth Contributions A contribuição é peça central da pesquisa e deve ser explicitada no texto com clareza Finalizar a introdução com A contribuição desse trabalho é... e usar tópicos para listar múltiplas contribuições O que pode ser feito com a técnica que não poderia ser feito antes? O que pode ser feito de forma melhor? O que se sabe agora que não se sabia antes?
22 Estrutura: Estratégia I Am So Unique Não ignore os trabalhos anteriores ao seu Para convencer o leitor da importância do trabalho, é necessário comparar com abordagens anteriores Sem uma boa revisão a pesquisa perde credibilidade A dificuldade em encontrar artigos pode indicar busca em subárea inadequada
23 Estrutura: Estratégia Enumeration Without Justification Citar trabalhos anteriores é necessário mas não é suficiente Necessário explicar por quê o trabalho anterior não resolve o problema, e que limitações anteriores a pesquisa ataca Não basta ser diferente, a pesquisa deve superar
24 Estrutura: Estratégia Sweeping Assertions O artigo não deve possuir afirmações sem dono É necessário citar a origem da afirmação, excluí-la do artigo ou torná-la uma observação dos resultados explicitamente Se não encontrar a origem da afirmação, isso pode se tornar um tópico interessante para artigo futuro
25 Estrutura: Estratégia I Am Utterly Perfect Discutir explicitamente as limitações da pesquisa a torna mais forte Qual o maior conjunto de dados que a técnica trabalha? Que tipos de dados são mais adequados? Quais não são adequados?
26 Estrutura: Resultados Straw Man Comparison Comparar o trabalho com abordagens do estado da arte, ao invés de abordagens ultrapassadas Executar as outras abordagens na mesma máquina que a sua abordagem (mesmo hardware) Tiny Toy Datasets Conjuntos simples de dados devem ser usados apenas em estudos de caso, com tarefas bem definidas e justificadas
27 Estrutura: Resultados Unjustified Tasks Um estudo de caso não é interessante caso produza bons resultados em atividades sem importância É necessário convencer o leitor de que o trabalho ataca tarefas do mundo real, executadas por usuários do domínio estudado
28 Sumário 1. Tipo de artigo 2. Representação visual 3. Estrutura: Estratégia e resultados 4. Escrita: Estilo e submissão do artigo
29 Escrita: Estilo e submissão do artigo Nessa etapa toda a pesquisa foi concluída, e um esboço do artigo já está pronto Verificar detalhes de escrita, gramática e no momento de submeter o artigo
30 Escrita: Estilo e submissão do artigo Deadly Detail Dump É essencial detalhar como, o que e por que a pesquisa foi realizada para situar o leitor Uma boa fundamentação (por que) deve ser introduzida antes de apresentar a solução (o que) e detalhes de implementação (como) Despertar o interesse do leitor para a importância do tema, suas limitações e soluções
31 Escrita: Estilo e submissão do artigo My Picture Speaks For Itself Explicitar no texto como a representação visual apresenta padrões interessantes do conjunto de dados Não assumir que a imagem fala por si só Fazer uma análise qualitativa: comparar representações visuais lado a lado sobre um mesmo conjunto de dados
32 Escrita: Estilo e submissão do artigo Grammar is Optional Cuidado com erros de sintaxe e pontuação Se possível, pedir a um revisor nativo em inglês avaliar o texto Mistakes Were Made Evitar a voz passiva A voz passiva é ambígua e dificulta ao leitor determinar quem fez o quê
33 Escrita: Estilo e submissão do artigo Nonspecific Use Of Large Nunca empregas apenas a palavra grande ou enorme para descrever um conjunto de dados Empregar números concretos para esclarecer a magnitude dos dados: milhares, milhões, bilhões?
34 Escrita: Estilo e submissão do artigo Slymy Simultaneous Submission Enviar múltiplas submissões do mesmo trabalho para diferentes veículos é antiético Muitas vezes o mesmo revisor avalia diferentes veículos Resubmit Unchanged Não ignorar as observações dos revisores ao resubmeter o artigo O trabalho pode ser lido pelo mesmo revisor
35 Referência MUNZNER, T. (2008). Process and Pitfalls in Writing Information Visualization Research Papers. Capítulo em Information Visualization: Human-Centered Issues and Perspectives. Springer LNCS Volume 4950, p 134-153, 2008