Avaliação em Visualização de Dados: Introdução, alguns aspectos e exemplos

Transcrição

1 Universidade de Aveiro Departamento de Electrónica, Telecomunicações e Informática Avaliação em Visualização de Dados: Introdução, alguns aspectos e exemplos Beatriz Sousa Santos bss@ua.pt Universidade de Aveiro 1

2 Agenda 1. Introdução à Visualização de Dados 2. Avaliação em Visualização: principais aspectos 3. Exemplos 4. Conclusões Equipa, Trabalho em curso, Reflexões metodológicas 2

3 1.Visualização: definição Is a method of Computing. It transforms the symbolic in the geometric, enabling researchers to observe simulations and computations providing scientific insight through visual methods (McCormick et al., 1987) Is concerned with exploring data and information graphically in such a way as to gain understanding and insight into the data (Brodlie et al., 1992) A computationally intense visual thinking (Rhyne, 2000) 3

4 Visualização: breve história A utilidade da representação gráfica de grandes quantidades de dados foi reconhecida há séculos: Séc. XVIII e XIX- Utilização de gráficos em estatística e ciências: W. Playfair, C. J. Minard Séc. XX - J. Bertin, E. Tufte Campanha de Napoleão na Rússia (C. Minard, 1861) A utilização do computador tornou a Visualização uma disciplina mais praticável: Identificação da Visualização como disciplina autónoma 4

5 Visualização: objectivos Tem como objectivo explorar dados por forma a ganhar uma maior compreensão dos fenómenos subjacentes utilizando as capacidades do Sistema Visual Humano The purpose of computing is insight not numbers (Hamming, 1962) Para atingir estes objectivos contribuem várias áreas científicas: Computação Gráfica, Interacção Humano-Computador, Engenharia de S/W, Processamento de Imagem, etc. 5

6 Visualização: enquadramento A Visualização inclui não apenas a produção de imagens a partir dos dados mas o ciclo de processos que permitem a sua transformação e manipulação (eventualmente a sua aquisição) Obtenção dos Dados Dados Hipótese Cálculos Utilizador Compreensão Resultados É um problema do tipo human-in-the-loop (Adaptado de Brodlie et al., 1992) 6

7 Visualização de Dados (exemplos) Dados de Tomografia (UA, 2004) Dados de Tomografia e SPECT (UA, 1996) Dados de Ground Penetrating Radar ( UA, 1999) 7

8 Visualizados em diferentes plataformas (desktop e outras) 8

9 Visualização: o modelo Dados Simulados: Análise de Elementos Finitos,. Métodos numéricos Dados Medidos: TAC, RM, ultra-sons Digitalizadores laser,. Satélites Dados Transform Map Display Técnica de Visualização (Adaptado de Schroeder et al., 1998) Ao longo deste processo podem ser introduzidos erros ou artefactos 9

10 Visualização: técnicas Não há receitas para escolher técnicas de Visualização adequadas Há princípios que se aplicam independentemente do suporte A definição do objectivo é fundamental para a eficácia Revelar forma Analisar estrutura (Adaptado de Keller & Keller, 1993) 10

11 Visualização: técnicas Por exemplo: A representação dos valores assumidos por uma função ou das altitudes à superfície da terra: Pode ser feita usando várias técnicas diferentes: - curvas de nível (iso-linhas) - pseudo-cor - superfície tridimensional - etc. 11

12 2. Avaliação em Visualização: o problema Actualmente existem muito poucas propostas concretas de metodologias e exemplos específicos de avaliação em Visualização Todavia, é possível recorrer a áreas afins, como: Processamento de Imagem em geral Processamento de Imagem Médica Interacção Humano-Computador Adaptando metodologias de avaliação existentes 12

13 Avaliação em Visualização: níveis As perguntas fundamentais parecem ser: Quão bem representa o fenómeno? Quão útil é, para o utilizador, na compreensão daquele? Estas perguntas correspondem a avaliação a dois níveis: baixo nível - representação do fenómeno em si alto nível - desempenho do utilizador em tarefas para as quais usa a visualização 13

14 Avaliação em Visualização: principais aspectos A avaliação de uma visualização, implica vários aspectos: Objectivo Dados de teste Métodos de avaliação Dados recolhidos Análise estatística 14

15 Avaliação em Visualização: objectivo Qualquer avaliação deve ser planeada tendo em conta o objectivo Por exemplo: Qual o melhor esquema de codificação para representar certos dados, para certos utilizadores realizarem uma tarefa? Determina o método experimental 15

16 Avaliação em Visualização: dados de teste A escolha dos dados de teste é muito importante Estes devem: Ser em quantidade suficiente Ser representativos dos casos possíveis Incluir casos especialmente difíceis Ser de vários tipos (sintéticos reais) 16

17 Avaliação em Visualização: dados de teste Por exemplo, em Visualização de dados médicos, podemos ter: Sintéticos Fantomas" Cadáveres In Vivo + precisão + realismo Os dados sintéticos garantem o melhor conhecimento da ground truth 17

18 Avaliação em Visualização: métodos Existem vários tipos de métodos de avaliação cuja utilização em Visualização parece relevante: Métodos com observadores humanos demorados e dispendiosos Índices de qualidade correlação fraca com a qualidade percebida Observadores digitais aplicabilidade limitada 18

19 Avaliação em Visualização: dados recolhidos Têm uma influência determinante na análise estatística a realizar É essencial considerar: A natureza dos dados: contínuos discretos O nível de representação: escala de medida: qualitativos (ou categóricos) nominal, ordinal quantitativos (ou numéricos) de intervalo, de razão 19

20 Avaliação em Visualização: análise estatística A análise estatística tem um grande impacto na credibilidade dos resultados A escolha das técnicas a usar deve considerar: A natureza dos dados O nível de representação dos dados e a escala de medida O tamanho da amostra (nºde observadores, dados de teste) A distribuição estatística dos dados recolhidos Etc. 20

21 3. Exemplos Visualização dos pulmões a partir de dados de Tomografia Axial Computorizada (TAC) torácica Segmentação dos contornos (validação de um método) Obtenção da malha Simplificação da malha (comparação entre métodos) Como avaliar? 21

22 Exemplos Avaliação do método de segmentação:. Avaliação de baixo nível : Índices de qualidade. Estabelecimento da surrogate ground truth Comparação dos métodos de simplifiação:. Avaliação a ambos os níveis: Com observadores humanos Índices de qualidade. Visualização de erros (ferramenta de análise e comparação de malhas 22

23 Exemplo I: avaliação do método de segmentação A segmentação de um órgão em dados de TAC é um préprocessamento que pode ser necessário para a sua visualização A avaliação dos métodos de segmentação é necessária para avaliar a qualidade intrínseca da visualização 23

24 Exemplo I: objectivo (a pergunta) Este método de segmentação é suficientemente bom para ser usado em aplicações reais? 24

25 Exemplo I: um objectivo mais geral Estabelecer uma metodologia para avaliar métodos de segmentação de contornos na ausência de ground truth 25

26 Exemplo I: dificuldades Esta avaliação tem como 1ª dificuldade a falta de uma ground truth Este problema é frequentemente ultrapassado usando contornos traçados por especialistas sobre as secções Mas existe: - Variabilidade intra-observador - Variabilidade inter-observador 26

27 Exemplo I: métodos Estudou-se: a variabilidade intra-observador de dois radiologistas (em T1, T2) A variabilidade inter-observador entre o método de segmentação e seis radiologistas (DR1...DR6) Usaram-se duas abordagens para comparação de desempenho: Comparação directa entre os contornos obtidos por todos os métodos Comparação com uma referência (surrogate ground truth) 27

28 Exemplo I: métodos (dados de teste) Os radiologistas pertencem a três serviços diferentes: 1 responsável pelo TAC pulmonar num hospital central - DR1 1 interno a terminar a especialidade - DR2 4 radiologistas gerais com muita experiência DR3-DR6 Utilizaram-se N= 60 contornos Provenientes de 30 imagens que: não foram usadas no desenvolvimento do método de segmentação podem ser usadas para diagnóstico foram escolhidas aleatoriamente entre 253 imagens de 8 pacientes incluem secções correspondentes a vários níveis pulmonares 28

29 Exemplo I: métodos Usaram-se índices de qualidade baseados em distâncias entre os pontos correspondentes de dois contornos N Distância média = 1/N d i i =1 Distância máxima = max (d i ) Índice de Pratt = 1/N [0,1] i =1 N 29

30 Exemplo I: métodos Em geral os contornos traçados pelos radiologistas diferem pouco, pode usar-se como referência uma média Mas por vezes, os radiologistas parecem usar critérios de segmentação diferentes referência Usou-se uma referência que tem em conta o nºde radiologistas que optam por determinados percursos Esta questão precisa de ser aprofundada 30

31 Exemplo I: métodos (análise dos dados recolhidos) Usaram-se várias técnicas estatísticas para a análise de dados: Análise Exploratória de Dados noção geral dos dados Testes Não Paramétricos teste à igualdade das medianas Tabelas de Contingência independência entre variáveis Análises de Clusters semelhanças entre detectores Análise das Correspondências associação entre detectores 31

32 Exemplo I: resultados A variabilidade intra-observador dos radiologistas fornece uma medida da variabilidade aceitável Variabilidade intra-radiologista Variabilidade entre radiologistas Variabilidade entre um radiologista e o método 32

33 Exemplo I: resultados O método de segmentação (A) agrupa-se com os radiologistas DR1, DR3 e DR4 DR2 terminou a especialidade DR5 e DR6 pertencem a outro serviço 33

34 Exemplo I: resultados No contexto usado o método de segmentação (A) é mais semelhante a DR1 que este a ele próprio (em T1 e T2) A é ~ tão semelhante a DR1 como DR2 se assemelha a ele próprio 34

35 Exemplo I: conclusões Algumas conclusões: O método de segmentação, no contexto usado, é um detector com desempenho comparável aos radiologistas tem a vantagem de não apresentar variabilidade intra-observador A metodologia de avaliação parece ser suficientemente geral para ser usada em outros cenários de avaliação A abordagem que usa uma referência é mais facilmente generalizável a um nºelevado de radiologistas, mas o problema da referência necessita de ser aprofundado 35

36 Exemplo I: Validação de outro Algoritmo Desenvolveu-se outro algoritmo de segmentação pulmonar que utiliza informação de todo o volume (3D) e não secção a secção A utilização de contornos traçados para a avaliação por radiologistas era proibitiva dado o número de secções de cada exame O algoritmo de segmentação pulmonar secção a secção (2D) avaliado foi usado para produzir contornos de referência para a avaliação do algoritmo 3D Estes contornos foram validados por um radiologista 36

37 Exemplo II: comparação entre métodos de simplificação Segmentação dos contornos obtenção da malha simplificação da malha Como avaliar? 37

38 Exemplo II: comparação entre métodos de simplificação As malhas obtidas a partir da aquisição de objectos reais têm, em geral, uma elevada complexidade A simplificação torna-se necessária em várias circunstâncias: Para permitir interacção com a malha Na transmissão através de uma rede 38

39 Exemplo II: objectivo (a pergunta) Algum, de um conjunto de métodos de simplificação, é melhor? Se sim, em que condições? 39

40 Exemplo II: duas abordagens, um objectivo mais geral Estudos com observadores (demorados e dispendiosos) + Índices de qualidade (fraca correlação com a qualidade percebida) Encontrar um conjunto de índices que estimem a qualidade percebida em determinadas condições 40

41 Exemplo II: 1º estudo Hipótese geral: Estudo com observadores humanos Diferentes métodos de simplificação têm um efeito diferente nos observadores, eventualmente variável com o nível de simplificação Como medir o efeito nos observadores? Usou-se uma experiência controlada com observadores: Variáveis dependentes e independentes Sujeitos Método experimental e protocolo Dados recolhidos Análise dos dados 41

42 Exemplo II: métodos Variáveis independentes Open Mesh Método de simplificação Open Mesh c/ normal flipping QSlim Nível de simplificação 50% das faces do modelo original 20% das faces 42

43 Exemplo II: métodos Variáveis dependentes: - Preferências - Ratings - Tempos de decisão - Nºde interacções Variáveis secundárias: - perfil dos utilizadores (idade, sexo, curso, familiaridade c/ 3D) - ordem de apresentação das versões simplificadas (método e nível de simplificação) 43

44 Exemplo II: métodos (dados de teste) 32 sujeitos 18 estudantes de Engenharia + 14 de Radiologia 4 modelos de pulmões 2 tarefas a realizar Preferências Ratings Metodologia dentro-de-grupos 2x3 condições experimentais em sequência aleatória (2 níveis x 3 métodos de simplificação) 44

45 Exemplo II: métodos Protocolo experimental 1ª fase: preferências 2ª fase: ratings Em qualquer das fases os observadores podiam manipular os modelos 45

46 Exemplo II: métodos (dados recolhidos) Dados recolhidos: Para cada um dos N=32 observadores: Dados demográficos dados categóricos Preferências dados ordinais (1º, 2º, 3º) Ratings - dados ordinais (escala de Likert de 1 a 5) Tempos de decisão - dados quantitativos Nºde interacções - dados quantitativos discretos Para cada decisão: posição no ecrã das versões simplificadas com os vários métodos 46

47 Exemplo II: métodos (análise dos dados) Análise estatística: Análise Exploratória de Dados noção geral dos dados ANOVA teste à igualdade das médias Tabelas de Contingência independência entre variáveis Análises de Clusters semelhanças entre variáveis Análise das Correspondências associação entre variáveis 47

48 Exemplo II: resultados Tempos de decisão Preferências Ratings 48

49 Exemplo II: resultados Associação entre métodos e preferências Simplificação 50% Simplificação 20% 49

50 Exemplo II: resultados Associação entre métodos e ratings 1 - mau 5 - muito bom 50

51 Exemplo II: conclusões Algumas conclusões: Os resultados da avaliação diferem com: o nível de simplificação a tarefa Para simplificação a 20% QSlim obtém melhores resultados Para simplificação a 50% os resultados diferem pouco entre métodos Um estudo mais abrangente poderá dar origem a directivas de projecto 51

52 Exemplo II 2º estudo: objectivos Estudo com índices de qualidade Baseados nas distâncias entre pontos correspondentes das malhas original e simplificada e usando os mesmos: métodos de simplificação níveis de simplificação modelos pulmonares Relação com as preferências dos observadores Visualização das distâncias entre pontos correspondentes 52

53 Exemplo II: comparação entre resultados dos estudos Relação entre as preferências dos observadores e os índices de qualidade: simplificação 20% Preferências Índice Este índice de qualidade parece fornecer uma boa estimativa das preferências dos observadores, nestas condições 53

54 Exemplo II: resultados Relação entre as preferências dos observadores e os índices de qualidade: simplificação 50% Preferências Índice Mas nestas condições, não parece existir relação entre os resultados obtidos pelo índice de qualidade e as preferências dos observadores 54

55 4. Conclusões A avaliação em Visualização de Dados continua a ser um desafio É fundamental: no desenvolvimento de soluções para problemas concretos no estabelecimento de directivas de projecto 55

56 Equipa Um problema interdisciplinar requer uma equipa interdisciplinar: Augusto Silva (Eng., Doutorado em Eng. Electrotécnica, Imagem Médica) Carlos Ferreira (Eng., Doutorado em Matemática) Joaquim Madeira (Eng. E., Doutorado em Eng. Informática, Computação Gráfica) José Silva (Físico, Doutorado em Eng. Electrotécnica, Imagem Médica, Coimbra) Luísa Teixeira (Médica Radiologista, HUCoimbra) Samuel Silva (Eng., studante de Doutoramento em Eng. Informática) e a colaboração de 5 radiologistas (HUCoimbra, HDAveiro, CENTAC-Aveiro) muitos observadores (alunos de ECT, EET e Radiologia da UA) 56

57 Trabalho em curso Estudo com observadores mais abrangente incluindo outros modelos, algoritmos e níveis de simplificação Estudos de usabilidade da Visualização em Realidade Aumentada e Virtual Melhoramento da ferramenta de análise e comparação de malhas poligonais ( 57

58 Reflexões metodológicas Correcta identificação dos problemas: Revisão bibliográfica meticulosa Método eficaz de organização da bibliografia Familiarização com o domínio de aplicação Correcta escolha dos métodos: Conhecimento dos métodos convencionais na área Procura de outros métodos adequados (por ex. de outras áreas) Avaliação cuidada dos métodos Análise e crítica cuidada dos resultados Correcta documentação: Logbook actualizado e documentação detalhada Escrita progressiva e não apenas no fim 58

59 Obrigada pela atenção! Questões? 59