Extensão do SGBD PostgreSQL para suportar recuperação de imagens por conteúdo

Transcrição

1 Extensão do SGBD PostgreSQL para suportar recuperação de imagens por conteúdo Ernani Viriato de Melo V Jornada Científica 24/10/2006

2 Tópicos Abordados Motivação Imagens e Características PostgreSQL-IE: PostgreSQL Image Extender Exemplo usando o SQL-IE SISPRIM: Sistema de Pesquisa com Suporte para Recuperação de Imagens Mamográficas Baseada em Conteúdo Conclusões 1 / 51

3 Motivação Grande volume de dados complexos gerados pelos sistemas computacionais Imagens, vídeos, áudio... As imagens podem ser aproveitadas em diversas áreas da aplicação; As imagens são naturalmente comparadas por semelhança (similaridade), diferentemente dos dados simples: 30 < 50 Araxá < Uberaba? 2 / 51

4 Motivação Recuperação de imagens por conteúdo (CBIR Content- Based Image Retrieval ) Recuperação de imagens baseada em descrição: Retorne a imagem do exame de mamografia feito pela Adriana Melo em 2006 Recuperação de imagens baseada em conteúdo: Retorne as 5 imagens mais semelhantes à imagem de Marilene Rios Busca por similaridade Duas imagens são semelhantes, nunca iguais (se for igual é a mesma!) O que é similaridade? Critérios de Similaridade Características a serem comparadas Métricas para comparação 3 / 51

5 Motivação 4 / 51

6 Motivação Armazenamento das imagens: Cada imagem é analisada individualmente utilizando técnicas de processamento de imagens; Características das imagens são extraídas e armazenadas; Procura-se extrair as informações que o analista humano utiliza no processo de comparação entre as imagens: Cores, formas, textura e relacionamento entre objetos A similaridade entre os dados sobre as características extraídas das imagens eficiência nas consultas. 5 / 51

7 Motivação Conceitos de Banco de Dados Relacionais: cas_id pac_id cas_data cas_tumor cas_img_mamo /05/2003 B /08/2005 B /04/2004 M /11/2004 M 6 / 51

8 Motivação SGBDs: Armazenam imagens em blocos de memória não interpretável BLOB. Consultas convencionais: SELECT p.pac_id, c.cas_id, c.cas_data, c.cas_tumor FROM paciente p, caso c WHERE p.pac_id = c.cas_id AND p.pac_nome LIKE LAURA% AND c.cas_data >= 01/01/2006 Dada a lesão de mama: encontrada na mamografia, retornar os casos benignos similares a esta imagem de referência 7 / 51

9 Motivação Estender as funcionalidades dos SGBDs: Um novo tipo de dados que suporte o armazenamento e recuperação de imagens; Processar as características das imagens: cor, textura e forma; Utilizar as características para o cálculo de similaridade entre as imagens; Novas funções o operadores para a manipulação de imagens POSTGRESQL - IE 8 / 51

10 Motivação Imagens e Características PostgreSQL-IE: PostgreSQL Image Extender Exemplo usando o SQL-IE SISPRIM: Sistema de Pesquisa com Suporte para Recuperação de Imagens Mamográficas Baseada em Conteúdo Conclusões 9 / 51

11 Recuperação por Conteúdo Etapas: Extração de Características da Imagem; Calcular a distância; Ranking utilizando operadores de similaridade 10 / 51

12 CBIR: Extração de Características 11 / 51

13 CBIR: Extração de Características Características de imagens: Valores Numéricos ou categóricos que descrevem as características das imagens; Características comumente usadas: cor, textura, forma e relacionamento entre objetos da imagem; OBJETIVO: a partir da imagem original, definir um vetor de características que: descreva com fidelidade o conteúdo semântico da mesma, aceite a aplicação de uma medida de similaridade (função de distância), Possa ser usada em uma estrutura de indexação. 12 / 51

14 Exemplos de Características Histograma (Cor) : Rápido de obter; Mais de uma imagem pode corresponder ao mesmo histograma! Solução: Usar mais de uma característica 13 / 51

15 Exemplos de Características Textura : Padrão visual em que elementos gráficos semelhantes se repetem em densidade variável. Exemplo: homogeneidade, contraste / 51

16 Exemplos de Características Forma : Utilizar segmentação de imagem para obter o contorno dos objetos: Manualmente Algoritmos de segmentação A análise de forma é baseada no contorno dos objetos; Exemplo: Área, Perímetro / 51

17 Calcular a distância Medidas de Similaridade Função de Distância: Simetria: d(x,y) = d(y,x); Não negatividade: 0 <= d(x,y) < Desigualdade triangular: d(x,y) <= d(y,z)+d(x,z) Manhattan: Euclidiana: 16 / 51

18 Operadores de Similaridade Range Query: K - K-Nearest Neighbor Query - KNNQ 17 / 51

19 Ranking usando um exemplo Considerando área, perímetro e contraste : Imagem de Consulta: Imagens no banco de dados: 18 / 51

20 Ranking usando um exemplo Utilizando a função de distância: Weighted Minkowsky p = 2 w1 = w2 = w3 = / 51

21 Motivação Imagens e Características PostgreSQL-IE: PostgreSQL Image Extender Exemplo usando o SQL-IE SISPRIM: Sistema de Pesquisa com Suporte para Recuperação de Imagens Mamográficas Baseada em Conteúdo Conclusões 20 / 51

22 PostgreSQL Image Extender Gratuito e com o código aberto; Disponibiliza funções para tratar e atualizar atributos do tipo imagem e definir consultas complexas utilizando os operadores de similaridade KNN e RANGE; Desenvolvido em PLPGSQL e C Apresenta facilidades para: criar novos extratores de características, criar novos métodos de acesso. 21 / 51

23 PostgreSQL Image Extender Disponibiliza um novo tipo de dado para imagens (PGImage) que permite: encapsular mais de uma imagem em um mesmo atributo; Cada imagem é associada a uma classe; associar características de diferentes classes de imagens em um mesmo vetor característica. 22 / 51

24 PostgreSQL Image Extender Exemplo: Armazenar as classes de imagem: região de interesse da mamografia (Mamografia_RI) e o contorno de lesão da mama feito por um radiologista (Mamografia_CL): Utilizar a tabela caso que relaciona com paciente: 23 / 51

25 PostgreSQL Image Extender Utilizando o SGBD PostgreSQL sem a extensão: Será controlado pela aplicação: Extração de características, Armazenamento e organização das características, Operadores de similaridade e calculo de distância / 51

26 PostgreSQL Image Extender Utilizando o PostgreSQL-IE: Todas as fases da recuperação por conteúdo feita pelo SGBD, Os vetores são definidos pelo usuário, combinando as características visuais das classes Mamografia_RI e Mamografia_CL usuários possuem liberdade nas consultas 25 / 51

27 PostgreSQL Image Extender Para cada mamografia: armazenar mais de um contorno de lesão feito por um radiologista: Utilizando apenas o SGBD PostgreSQL: PostgreSQL-IE: 26 / 51

28 PostgreSQL Image Extender Sistema de Catálogo do SGBD PostgreSQL: Armazena os metadados (informações sobre tabelas, colunas, triggers, índices, restrições); O Catálogo é composto por tabelas comuns, que são mantidas por comandos SQL (ex: CREATE TABLE insere uma linha na tabela do catálogo pg_class e cria a tabela em disco); Possui tabelas globais: pertencem a todos os bancos de dados (ex: pg_database); Possui tabelas locais: são próprias do banco de dados da aplicação; Na criação de um banco de dados, as tabelas locais do catálogo são geradas pela duplicação de um banco de dados modelo, normalmente o template1 27 / 51

29 PostgreSQL Image Extender Sistema de Catálogo estendido do PostgreSQL-IE: Composto pelas tabelas do catalogo clonadas do template1 e mais novas tabelas: 28 / 51

30 PostgreSQL Image Extender Criar um banco de dados sem a extensão: CREATE DATABASE nome_novo_banco Criar um banco de dados com a extensão: CREATE DATABASE nome_novo_banco WITH TEMPLATE = extended_template1 29 / 51

31 PostgreSQL Image Extender Funções da linguagem estendida (SQL-IE): Create_Extractor KNN Delete_Extractor RANGE Define_Feature_Vector Insert_Image Delete_Feature_Vector Update_Image_Attr Show_Extractors Replace_Image_Attr Create_AccessMethod Height_IE Delete_AccessMethod Width_IE Set_Feature_Vector Value_Extractor UnSet_Feature_Vector Show_Image 30 / 51

32 Motivação Imagens e Características PostgreSQL-IE: PostgreSQL Image Extender Exemplo usando o SQL-IE SISPRIM: Sistema de Pesquisa com Suporte para Recuperação de Imagens Mamográficas Baseada em Conteúdo Conclusões 31 / 51

33 Exemplo usando o SQL-IE Considere o seguinte esquema relacional: 32 / 51

34 Exemplo usando o SQL-IE Criação da tabela e inserção de registro: CREATE TABLE caso ( cas_id integer NOT NULL, pac_id integer NOT NULL, cas_tumor char(1), cas_data date NOT NULL, cas_tumor char(1), img_mamo pgimage, CHECK ( (img_mamo).classes in ('mamografia', 'contorno_lesao1','contorno_lesao2', 'contorno_lesao3') ) ); INSERT INTO caso(cas_id,pac_id,cas_tumor,cas_data, img_mamo) VALUES (1, 1, 'N', ' ', Insert_Image('caso', 'img_mamo', 'mamografia,/img/mamo.bmp; contorno_lesao1,/img/cont1.bmp; contorno_lesao2,/img/cont2.bmp; contorno_lesao3,/img/cont3.bmp ) 33 / 51

35 Exemplo usando o SQL-IE Criação de extratores de características e definição de vetores de características: SELECT Create_Extractor('compacidade','getCc','float', 'ExtShape'); SELECT Create_Extractor('perimetro','getPerimeter','float', 'ExtShape'); SELECT Create_Extractor('indice_espiculos','getSI','float', 'ExtShape'); SELECT Define_Feature_Vector('Vetor1', 'compacidade:contorno_lesao1;perimetro:contorno_lesao1; indice_espiculos:contorno_lesao1'); SELECT Define_Feature_Vector('VetorSI', 'indice_espiculos:contorno_lesao1; indice_espiculos:contorno_lesao2; indice_espiculos:contorno_lesao3'); 34 / 51

36 Exemplo usando o SQL-IE Associação entre um vetor de características e um atributo PGImage: SELECT Set_Feature_Vector('Query1', 'caso', 'img_mamo', 'Vetor1'); Utilizando método de acesso: SELECT Create_AccessMethod ('SlimTree', 'ExtAM'); SELECT Set_Feature_Vector('QuerySI', 'caso', 'img_mamo', 'VetorSI', 'SlimTree'); 35 / 51

37 Exemplo usando o SQL-IE Recuperação de imagens por conteúdo (KNN): Retorne as pacientes que possuem as 5 imagens mais similares a contorno1.bnd considerando 70% de compacidade e 30% de perímetro e que tenha idade entre 30 e 50 anos SELECT paciente.pac_registro, caso.cas_data, Pac_Registro Score_IE('sc_1',caso.img_mamo) Cas_data AS Score Score FROM paciente, caso WHERE (caso.img_mamo).imgid in (SELECT * FROM KNN('sc_1', , 'Query1:compacidade=0.7;perimetro=0.3', 'contorno_lesao1,/img/contorno1.bnd ) ); AND paciente.pac_id = caso.pac_id AND ( EXTRACT(YEAR FROM age(current_date, paciente.pac_datanasc)) >= 30 AND EXTRACT(YEAR FROM age(current_date, paciente.pac_datanasc)) <= 50 ) ORDER BY Score; / 51

38 Exemplo usando o SQL-IE Recuperação de imagens por conteúdo (RANGE): Retorne as pacientes considerando um raio de abrangência igual a 0.9 entre suas imagens e as imagens de referência: contorno1.bnd, contorno2.bnd e contorno3.bnd (utilizando índice de espículos) SELECT paciente.pac_registro, caso.cas_data, Score_IE('sc_2',caso.img_mamo) AS score FROM paciente, caso WHERE (caso.img_mamo).imgid in (SELECT * FROM RANGE('sc_2', 0.9, 'QuerySI', 'contorno_lesao1,/img/contorno1.bnd; contorno_lesao2,/img/contorno2.bnd; contorno_lesao3,/img/contorno3.bnd') ) AND paciente.pac_id = caso.pac_id ORDER BY score 37 / 51

39 Exemplo usando o SQL-IE Recuperação de imagens por conteúdo (RANGE): Retorne as pacientes considerando um raio de abrangência igual a 0.9 entre suas imagens e as imagens do caso 54; e que a compacidade do contorno de lesão do radiologista 1 seja > 0.6 SELECT paciente.pac_registro, caso.cas_data, Score_IE('sc_3',caso1.img_mamo) AS score FROM paciente, caso1, caso2 WHERE caso2.cas_id = 54 (caso1.img_mamo).imgid in (SELECT * FROM RANGE('sc_3', 0.9, 'QuerySI', caso2.img_mamo) ) AND Value_Extractor('compacidade', 'contorno_lesao1', caso1.img_mamo) > 0.6 AND paciente.pac_id = caso1.pac_id ORDER BY score 38 / 51

40 Motivação Imagens e Características PostgreSQL-IE: PostgreSQL Image Extender Exemplo usando o SQL-IE SISPRIM: Sistema de Pesquisa com Suporte para Recuperação de Imagens Mamográficas Baseada em Conteúdo Conclusões 39 / 51

41 SISPRIM SISPRIM: Sistema de Pesquisa com Suporte para Recuperação de Imagens Mamográficas Baseada em Conteúdo; Disponibiliza interface gráfica via web; Foi desenvolvido utilizando o PostgreSQL-IE; Integrado ao AMDI Atlas Indexado de Mamografias Digitais; Permite associar dados visuais a dados convencionais; Responde consultas do tipo: retorne as 10 imagens mais semelhantes a uma mamografia e que tenha diagnóstico benigno ; 40 / 51

42 SISPRIM Visão geral do AMDI: 41 / 51

43 SISPRIM: Interface de Configuração 42 / 51

44 SISPRIM: Interface de Configuração 43 / 51

45 SISPRIM: Interface de Configuração 44 / 51

46 SISPRIM: Interface de Configuração 45 / 51

47 SISPRIM: Interface de Consulta 46 / 51

48 SISPRIM: Interface de Resultado 47 / 51

49 Motivação Imagens e Características PostgreSQL-IE: PostgreSQL Image Extender Exemplo usando o SQL-IE SISPRIM: Sistema de Pesquisa com Suporte para Recuperação de Imagens Mamográficas Baseada em Conteúdo Conclusões 48 / 51

50 Conclusões Este trabalho apresentou o PostgreSQL-IE: uma extensão do SGBD PostgreSQL para suportar CBIR; O PostgreSQL-IE: é gratuito e com o código aberto; permite criação de extratores e métodos de acesso, e a definição de vetores- características; é independente de aplicação; Disponibiliza o PGImage: permite armazenar mais de uma classe de imagem em um mesmo atributo, dando flexibilidade na modelagem do banco de dados; Desenvolvimento do SISPRIM integrado ao AMDI. 49 / 51

51 Trabalhos Futuros e Publicações Desenvolvimento de novos extratores de características; Desenvolvimento de novos métodos de acesso; Publicações: D. Guliato, R. S. Boaventura, E. V. Melo, V. Deus, F. R. Janones, and R. M. Rangayyan. AMDI: An atlas to integrate case studies, e-learning, and research systems via the web. In Proc. IASTED International Conference on Telehealth, pages 69 74, D. Guliato, R. S. Boaventura, E. V. Melo, and R. M. Rangayyan. AMDI indexed atlas of digital mammograms that integrates case studies, e-learning, and research systems via the web. In J.S. Suri and R.M. Rangayyan (Ed.). Recent Advances in Breast Imaging, Mammography, and Computer-aided Diagnosis of Breast Cancer. SPIE, Bellingham, WA, USA, pages , E. V. Melo, D. Guliato, R. M. Rangayyan, and R. C. Soares. SISPRIM sistema de pesquisa com suporte para recuperação de imagens mamográficas baseada em conteúdo. WIM VI Workshop de Informática Médica, O PostgreSQL-IE está em processo de registro junto ao INPI 50 / 51

52 Agradecimentos CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico Faculdade de Computação Universidade Federal de Uberlândia 51 / 51

53 Obrigado pela atenção Ernani Viriato de Melo