icube: Um Cubo de Dados para Imagens Médicas Baseado em Similaridade

Transcrição

1 icube: Um Cubo de Dados para Imagens Médicas Baseado em Similaridade Aluna: Luana Peixoto Annibal Orientador: Ricardo Rodrigues Ciferri Co-orientador: Joaquim Cezar Felipe (FFCLRP-USP) Colaboradora: Cristina Dutra de Aguiar Ciferri (ICMC-USP) 1

2 Sumário Introdução Fundamentação teórica Trabalhos correlatos Detalhamento do trabalho Referências bibliográficas 2

3 Sumário Introdução Fundamentação teórica Trabalhos correlatos Detalhamento do trabalho Referências bibliográficas 3

4 Contexto em que se insere Emprego de sistemas de suporte a decisão Competitividade econômica e constante evolução do mercado Tecnologias de data warehousing Fácil armazenamento e manipulação de dados para a tomada de decisão Facilmente adaptável aos modelos de negócio Aplicação em outras áreas, como a área médica Banco de dados caracterizados pela quantidade e complexidade dos dados 4

5 Motivação e desafios Constante evolução da área médica Práticas de pesquisa Como análises estatísticas e históricas Aperfeiçoamento das pesquisas com a utilização de data warehouse Qual a incidência de câncer de mama em pacientes de 40 anos em 2005? Qual a incidência de câncer de mama nos últimos 3 anos? Qual o número de imagens similares a esta forma patológica segundo a distribuição geográfica? Armazenamento dos dados multimídia no cubo de dados Realização de operações OLAP 5

6 Objetivo Investigar o armazenamento e a manipulação de imagens médicas em aplicações de DW Propor o icube Cubo de dados ImageCube Tratamento e o armazenamento de imagens médicas Similaridade de imagens para a geração de dados sumarizados Permitir a execução de consultas complexas Operações OLAP: Drill-down, Roll-up, Slice-and-dice Organização das imagens em funções de agregação Permitir atualizações incrementais sem retrabalho de analisar as imagens já armazenadas no cubo 6

7 Objetivo Questões a serem investigadas Quais descritores de conteúdo deve ser considerados no projeto do DW de imagens? Quais características das imagens devem ser consideradas no projeto do DW de imagens? Como estas características devem ser armazenadas no cubo de dados? Quais funções de agregação devem ser propostas para gerar os níveis de agregação? Como a semântica da aplicação médica influencia estas questões? 7

8 Sumário Introdução Fundamentação teórica Trabalhos correlatos Detalhamento do trabalho Referências bibliográficas 8

9 Ambientes operacional versus informacional Aspecto Operacional Informacional Tipo de transações OLTP (on-line transaction processing) OLAP (on-line analytical processing) Operações mais frequentes Atualização, remoção e inserção Leitura Características das Pequenas e simples. Acessam poucos Longas e complexas. Acessam muitos transações registros por vez registros, realizam várias varreduras e junções de tabelas Tipo de usuários Tipos de dados Principal questão de desempenho Administradores do sistema, projetistas e usuários de entrada dos dados Dados primitivos (essencialmente atuais) Produtividade da transação Executivos, gestores, analistas Dados derivados (geralmente dados históricos) Produtividade da consulta Tempo de resposta Geralmente poucos segundos De minutos a horas Exemplo de aplicação Transações bancárias, contas a pagar e empréstimo de livros Planejamento de marketing, análise financeira, gerenciamento da qualidade clínica, pesquisas médicas 9

10 Ambientes operacional versus informacional Obtenção de informações estratégicas é uma etapa essencial no processo de tomada de decisão Inicialmente aplicações OLTP (on-line transactionprocessing) extraiam essas informações Desempenho inaceitável de consultas complexas Inconsistência e baixa qualidade de relatórios e análises de tendências Comprometimento no desempenho das operações transacionais Enorme esforço e tempo gasto no tratamento de dados de fontes heterogêneas Ambientes informacionais Ambientes data warehousing (DWing) Coleção de tecnologias para a integração de dados de fontes heterogêneas em um único repositório por um longo período de tempo 10

11 Data Warehouse Convencional Uma coleção de dados orientados a assunto, integrados, não-voláteis e históricos; utilizado em processos de tomada de decisão Data warehouse Fontes heterogêneas 11

12 Arquitetura Data Warehousing 12

13 Arquitetura Data Warehousing 13

14 Arquitetura Data Warehousing 14

15 Arquitetura Data Warehousing 15

16 Arquitetura Data Warehousing 16

17 Arquitetura Data Warehousing 17

18 Armazenamento e Consultas em Data Warehouse Modelagem dos dados em espaço multidimensional Medidas numéricas Conjunto de dimensões Consultas OLAP Drill-down Roll-up Slice-and-dice Pivot Drill-across Análises dos usuários de SSD Ano Trimestre Cidade Região Mês Semana Bairro Dia Hospital 18

19 Consultas por Similaridade Banco de dados tradicionais Relação de ordem total Igualdade (igual e diferente) Relacional (maior, menor, maior e igual, menor e igual) <? Consultas por similaridade 19

20 Consultas por Similaridade Método de mensurar a similaridade Espaço métrico Domínio dos dados Função de distância Simetria d(s1,s2) = d(s2,s1) Não-negatividade 0 < d(s1,s2) < se s1 s2 Desigualdade triangular d(s1,s2) d(s1,s3) + d(s3, s2) Algoritmos de consulta K-vizinhos mais próximos Consulta por abrangência 20

21 Sistema de Recuperação de Imagens Baseado em Conteúdo 21

22 MultimediaData Warehouse Multimídia = dados não estruturados Descritores baseados em conteúdo e em descrição Dado multimídia informação estratégica 22

23 MultimediaData Warehouse 23

24 MultimediaData Warehouse 24

25 MultimediaData Warehouse 25

26 MultimediaData Warehouse 26

27 MultimediaData Warehouse 27

28 Sumário Introdução Fundamentação teórica Trabalhos correlatos Detalhamento do trabalho Referências bibliográficas 28

29 Osmar Zaïane(1998) MultiMediaMiner Sistema de mineração de imagens e vídeos da internet Composto pelas ferramentas DBMiner e C-BIRD Comparação, classificação, associação e caracterização 29

30 Jane You(2004) MediaHouse Sistema de recuperação e classificação de dados multimídia Seleção de múltiplas características Esquema starflake Estudos de caso Classificação de superfície terrestre Classificação de ciclones tropicais Reconhecimento da palma Reconhecimento de face 30

31 Stephen Wong(2004) NIDS Sistema de análise estatística e processamento de imagens. Realiza consultas complexas Encontre as pacientes do sexo feminino com mais de 21 anos, com atrofia no hipocampo direito > 10% e corresponde a depleção de N-acetil-aspartato > 15% Dados utilizados Dados cadastrais do paciente e de consulta Dados como imagens de ressonância magnética, data do exame, etc; Dados de exames de PET; Dados pré-cirúrgico e cirúrgico Testes psicométricos; Alguns vídeos de EEG. Os dados multimídia são representados por palavras-chave (características lógicas) e características primitivas 31

32 Anne-MurielArigon(2006 e 2007) Modelo multidimensional de multiversões funcionais Escolha do melhor descritor durante a consulta Estudos de caso Tese de hipótese sobre medicamento em sinais de ECG Investigação sobre expressão gênica dos cromossomos Melhora na modelagem 32

33 MianshuChen (2008) Estrutura XML Armazenar, gerenciar e recuperar vídeos Comparar sistemas de recuperação Organização dos vídeos em categorias Função de agregação Fator de abrangência Consulta por KNN 33

34 TehWah(2009) Dados médicos Análise de tendências, tese de hipóteses e descoberta de conhecimento Não foram especificados Tipos de multimídia Técnicas de extração de conteúdo Modelagem do DW 34

35 Comparação entre trabalhos 35

36 Sumário Introdução Fundamentação teórica Trabalhos correlatos Detalhamento do trabalho Referências bibliográficas 36

37 Conclusão Investigar e propor um cubo de dados Armazenamento e manipulação de imagens médicas Tratadas em ETL Organização das características das imagens Sumarizar as imagens baseado em critérios de similaridade Voltado para aplicações de SSD Um dos principais desafios em ambientes DWing Melhora do desempenho de operações OLAP Evitar junção de tabelas muito grandes Visões materializadas, índices, etc Estudos de caso 37

38 Conclusão Estudos de caso 1º Caso: imagem conhecida e distância constante 2º Caso: imagem conhecida e distância variável 3º Caso: imagens variáveis e distância constante Imagens variáveis conhecidas Imagens desconhecidas 4º Caso: imagens desconhecidas e distância variável Validação Imagens médicas reais Dados sintéticos Comparação de desempenho 38

39 Sumário Introdução Fundamentação teórica Trabalhos correlatos Detalhamento do trabalho Referências bibliográficas 39

40 Referências Bibliográficas ABDELNABI, Z. et al.comparing code reading techniques applied to object-oriented software frameworks with regard to effectiveness and defect detection rate. In: INTERNATIONAL SYMPOSIUM ON EMPIRICAL SOFTWARE ENGINEERING -ISESE Washington, USA, Proceedings...Washington: IEEE Computer Society p ARIGON, A.M., TCHOUNIKINE, A., MIQUEL, M. Handling Multiple Points of View in a Multimedia Data Warehouse. ACM Transactions on Multimedia Computing, Communications and Applications, v. 2. August 2006, p: ARIGON, A.M., MIQUEL, M., TCHOUNIKINE, A. Multimedia Data Warehouses: A MultiversionModel and a Medical Application. Journal of Multimedia Tools and Applications. Springer Netherlands. v. 35, DOI /s ARNOTT, D., PERVAN, G. A Critical Analysis of Decision Support System Research. Journal of Information Technology. v. 20, p , June DOI: /palgrave.jit BAIKOUSI, E., VASSILIADIS, P. View Usability and Safety for Answering of Top-K Queries via Materializes Views. In: ACM 12 th International Workshop on Data Warehousing and OLAP. Proceedings Hong Kong, November 2009 BANEK, M., TJOA, A. M., STOLBA, N. Integrating Different Grain Levels in a Medical Data Warehouse Federation. Data Warehousing and Knowledge Discovery. p , BARIONI, M.C.N.Operações de consulta por similaridade em grandes bases de dados complexos. Tesede Doutorado: ICMC/USP, Brasil

41 Referências Bibliográficas BECKER, K. and RUIZ, D.D.A. An aggregate-aware retargeting algorithm for multiple fact data warehouses, In Proc. 6th DAWAK, p BELLATRECHE, L.; SCHNEIDER, M.; LORINQUER, H.; MOHANIA, M.K. Bringing Together Partitioning, Materialized Views and Indexes to Optimize Performance of Relational Data Warehouses. In: International Conference On Data Warehousing And Knowledge Discovery, 6., 2004, Zaragoza, Spain. Proceedings p BELLATRECHE, L., WOAMENO, K. Y. Dimension Table Driven Approach to Referential Partition Relational Data Warehouses. In: ACM Twelfth International Workshop on Data Warehousing and OLAP. Proceedings Hong Kong, China. p. 9-16, BÖHM, C., BERCHTOLD, S. and KEIM, D. A. Searching in highdimensionalspaces -index structures for improving the performance of multimedia databases. ACM Computing Surveys, 33(3): BOZKAYA, T. and OZSOYOGLU, Z. M. Indexing large metric spaces for similarity search queries. ACM Transactions On Database Systems, 24(3): CARÉLO, C. C. M., POLA, I. R. V., CIFERRI, R. R., TRAINA, A. J. M., TRAINA Jr., C., CIFERRI, C. D. A. The Onion-Tree: Quick Indexing of Complex Data in the Main Memory. Lecture Notes in Computer Science. Springer Berlin, Heidelberg. v. 5739/2009, p CHAUDHURI, S. and DAYAL, U. An overview of data warehousing and OLAP technology. SIGMOD Record. 26(1): CHAUDHURI, S.; NARASAYYA, V. An Efficient Cost-Driven Index Selection Tool for Microsoft SQL Server. In: International Conference On Very Large Databases, 23., 1997, Athens, Greece. Proceedings p CHÁVEZ, E., NAVARRO, G., BAEZA-YATES, R. and MARROQUÍN, J. L. Searching in metric spaces. ACM Computing Surveys, 33(3): CHEN, M., SONG, Y., SUN, Z., CHEN, H., SANG, A. Multimedia Database Retrieval Based on Data Cube. International Conference on Audio, Language and Image Processing. Shanghai July DOI /ICALIP

42 Referências Bibliográficas CIACCIA, P. and PATELLA, M. Searching in metric spaces with user-defined and approximate distances. ACM Transactions on Database Systems, 27(4): CIFERRI, C. D. A. Distribuição dos Dados em Ambientes de Data Warehousing: O Sistema WebD2W e Algoritmos Voltados à Fragmentação Horizontal dos Dados. Dissertação de Doutorado. UFPE, Brasil CIFERRI, C.D.A., CIFERRI, R.R., FORLANI, D.T., TRAINA, A.J.M., SOUZA, F.F. Horizontal Fragmentation as a Technique to Improve theperformance ofdrill-downandroll-upqueries. In: ACM Symposium On Applied Computing. Seoul, Korea. Proceedings v.1, p , CIFERRI, C.D.A.; SOUZA, F.F.Data Warehousing: Estado da Arte e Direções Futuras. In: Conferência Latino-Americana de Informática, 26., 2000, Mexico City, Mexico. Memorias... CD-ROM. CIFERRI, C.D.A.; SOUZA, F.F. Materialized Views in Data Warehousing Environments. In: International Conference Of The Chilean Computer Science Society, 21., 2001, Punta Arenas, Chile. Proceedings p DATTA, A., MOON, B., THOMAS, H. A Case for Parallelism in Data Warehousing and OLAP. In: 9th International Workshop on Database and Expert Systems Applications. Proceedings p. 226, DATTA, R., JOSHI, D., LI, J., WANG, J. Z. Image Retrieval: Ideas, Influences, and Trends of the New Age. ACM Computing Survey, Vol. 40, Article DOULAMIS N, DOULAMIS A. Evaluation of Relevance Feedback Schemes in Content-Based in Retrieval Systems. Signal Processing: ImageCommunication, v. 21(4), p , FORLANI, D.T., CIFERRI, C.D.A.andCIFERRI, R.R.Melhorando o Desempenho do Processamento de Consultas Drill-acrossem Ambientes de Data Warehousing. In Anais do XXI SBBD, p FELIPE, J. C., TRAINA, A. J. M, e TRAINA Jr., C. Global warp metric distance: Boosting content-based image retrieval through histograms. In IEEE International Symposium on Multimedia (ISM 2005), Irvine, CA, USA,

43 Referências Bibliográficas FELIPE, J. C. Desenvolvimento de Métodos para Extração, Comparação e Análise de Características Intrínsecas de Imagens Médicas, Visando à Recuperação Perceptual por Conteúdo. Dissertação de Doutorado. ICMC-USP 2005 (2005b). FELIPE, J. C., TRAINA Jr., C., TRAINA, A. J. M. A NewFamilyofDistanceFunctionsfor Perceptual SimilarityRetrievalofMedical Image. Journal of Digital Imaging, v. 22, n.2 (April), p FIDALGO, R. N., TIMES, V. C., JOEL DA SILVA, SOUZA, F. F. GeoDWFrame: A Framework for Guiding the Desingof Geographical and Dimensional Schemas. In: 6 th InternacionalConference on Data Warehousing and Knowledge Discovery (DaWaK), 2004, Zaragoza, Berlin: Springer-Verlag, Lecture Notes in Computer Science, v. 3181, p GAEDE, V.; GÜNTHER, O. Multidimensional Access Methods. ACM Computing Surveys, v.30, n.2, p , June, GARCIA, A., SAMPAIO. R., XÉXEO, G., PASSOS, L.C., REIS, F., LOBO, N., XIMENES, RABELO, L. AND RABELO JÚNIOR, A. FBCDataWare: um data warehouse para cardiologia, In Proc. 4th SADIO, p GONZALEZ, R. C., WOODS, R. E. Digital Image Processing. 3 rd Ed. Upper Saddle River, New Jersey GOLFARELLI, M., MAIO, D., RIZZI, S. Applying Vertical Fragmentation Techniques in Logical Design of Multidimensional Databases. In: 2 nd International Conference on Data Warehousing and Knowledge Discovery (DaWaK2000). Proceedings Greenwich, UK. p , GOLFARELLI, M., MANIEZZO, V., RIZZI, S. Materialization of Fragmented Views in Multidimensional. Data & Knowledge Engineering, v.49, n.3, p , GRAY, J., BOSWORTH, A., LAYMAN, A. AND PIRAHESH, H. (1996). Data cube: a relational aggregation operator generalizing groupby, cross-tab, and sub-totals. In Proc. 12th ICDE, p HARINARAYAN, V.; RAJARAMAN, A.; ULLMAN, J.D. Implementing Data Cubes Efficiently. SIGMOD Record, v.25, p ,

44 Referências Bibliográficas INMON, W.H. Building the Data Warehouse. 4 nd Ed. Indianapolis: Wiley Computer Publishing, KIMBALL, R., ROSS, M. The Data Warehouse Toolkit. 2 nd Ed. New York: Wiley Computer Publishing, LEVENSHTEIN, V. Binary codes capable of correcting deletions, insertions, and reversals. Cybernetics and Control Theory, 10(8): LUI, Y., ZHANG, D., LU, G., MA, W. A Survey of Content-Based Image Retrieval with High-level Semantics. Journal of Pattern Recognition. v. 40, p MURPHY, S. Data Warehousing for Clinical Research. Encyclopedia of Database Systems. Springer US. Eds: Liu, L.; Özsu, M. T. p , NEUMUTH, T., MANSMANN, S., SCHOLL, M. H., BURGERT, O. Data Warehouse Technology for Surgical Workflow Analysis. 21 st IEEE International Symposium on Computer-Based Medical System DOI: /CBMS O NEIL, E., O NEIL P., WU, K. Bitmap Index Design Choices and Their Performance Implications. In: 11 th International Database Engineering Applications Symposium, p , DOI: /IDEAS O NEIL, P., QUASS, D. Improved Query Performance with Variant Indexes, IN: ACM Special Interest Group On Management Of Data, p , POLA, I.R.V. Indexação de dados em domínios métricos generalizáveis. Dissertação de Mestrado: ICMC/USP, Brasil PEDERSEN, T. B., JENSEN, C. S. Research Issues in Clinical Data Warehousing. IN: 10 th International Conference on Scientific and Statistical Database Management. Proceedings p , RAZENTE, H. L., BARIONI, M. C. N., TRAINA, A. J. M., TRAINA JR., C. Aggregate Similarity Queries in Relevance Feedback Methods for Content-Based Image Retrieval. SAC 08 Fortaleza, Ceará, Brazil, p

45 Referências Bibliográficas RIZZI, S. Conceptual Modeling Solutions for the Data Warehouse. In: W. R. e C. Koncilia(Ed.). Data Warehouse and OLAP: Concepts, Architectures and Solutions. Hershey, Pennsylvania, USA: IRM Press, Chapter 1, p RODRIGUES JÚNIOR, J. F. Mineração visual de dados escalonávelcom tratamento de relevância para bases de imagens médicas. Exame de Qualificação de Doutorado: ICMC/USP, Brasil RUI, Y., HUANG, T. S., CHANG, S. Image Retrieval: Past, Present and Future. In Journal of Visual Communication and Image Representation, v. 10, p. 1-23, SIQUEIRA, T. L. L., CIFERRI, R. R., TIMES, V. C., CIFERRI, C. D. A. A Spatial Bitmap-Based Index for Geographical Data Warehouses. In: ACM Symposium On Applied Computing, Honolulu, Hawaii. Proceedings p , DOI: / SHIM, J. P., WARKENTIN, M., COURTNEY, J. F., POWER, D. J., SHARDA, R., CARLSSON, C. Past, Present, and Future of Decision Support Technology. Decision Support Systems. Published by Elsevier Science B. V. v. 33, p , DOI: /S (01) SONG, I.Y. Data Warehousing Systems: Foundations and Architectures. Encyclopedia of Database Systems. Springer US. Eds: Liu, L.; Özsu, M. T TRAINA, A.J.M., TRAINA JÚNIOR, C., BUENO, J.M. and MARQUES, P.M.A. The metric histogram: A new and efficient approach for content based image retrieval. In Xiaofang Zhou and Pearl Pu. (Org.). Visual and Multimedia Information Management: 1: TRAINA, A. J. M., TRAINA Jr., C., CIFERRI, C. D. A., RIBEIRO, M. X., AZEVEDO-MARQUES, P. M. How to Cope with the Performance Gapin Content-Based Image Retrieval Systems. International Journal of Healthcare Information Systems and Informatics, 4(1), 47-67, January-March WAH, T. Y., SIM, O. S. Development of a Data Warehouse for Lymphoma Cancer Diagnosis and Treatment Decision Support. WSEAS Transactions on Information Science and Application. v. 6, March WANG, J. Z., BOUJEMAA, N., DEL BIMBO, A., GEMAN, D., HAUPTMANN, A., TESIC, J. Diversity in Multimedia Information Retrieval Research. In Proceedings of the 8 th ACM SIGMM International Workshop on Multimedia Information Retrieval at the International Conference on Multimedia, Santa Barbara, California, USA. p. 5-12,

46 Referências Bibliográficas WEHRLE, P., MIQUEL, M., TCHOUNIKINE, A. A Grid Services-Oriented Architecture for Efficient Operation of Distributed Data Warehouse on Globus. In: 21 st International Conference on Advanced Information Networking and Applications. May Niagara Falls, Canada. p WONG, S. T., HOO JR, K. S., CAO, X., TJANDRA, D., FU, J. C., DILLON, W. P. A Neuroinformatics Database System for Disease-Oriented Neuroimaging Research. Academic Radiology, v. 11, issue 3, DOI /S (03) YOU, J. J., CHEUNG, K. H., LIU, J., GUO, L. On HierarquicalContent-based Image Retrieval by Dynamic and Guided Search. Lecture Notes in Computer Science,v. 5307, DOI / ZAÏANE, O. R., HAN, J., LI, Z.N., CHEE, S.H., CHIANG, J.Y. MultiMediaMiner: A System Prototype for Multimedia Data Mining. ACM SIGMOD International Conference on Management of Data. Seattle, United State