Aplicando Mineração de Imagens para Auxiliar na Determinação da Idade Gestacional em Recém-Nascidos

Aplicando Mineração de Imagens para Auxiliar na Determinação da Idade Gestacional em Recém-Nascidos Anderson V. Araújo 1, Olga R. P. Bellon 1, Luciano Silva 1, Everton V. Vieira 1, Mônica Cat 2 Grupo Imago de Pesquisa em Visão Computacional, Computação Gráfica e Processamento de Imagens 1 Departamento de Informática, 2 Departamento de Pediatria Universidade Federal do Paraná (UFPR), Curitiba-Brasil Resumo A idade gestacional (IG) é uma das medidas mais usadas por neonatologistas para guiar o processo de diagnóstico e tratamento, tentando garantir a sobrevivência do recém-nascido, especialmente dos prematuros. Entretanto, os métodos existentes para determinação da IG, quando esta medida não é conhecida à priori, são baseados em um conjunto de avaliações subjetivas e têm baixa precisão, além de demandarem procedimentos invasivos. Baseando-se nisso, o método FootScanAge foi criado, tentando estimar a IG através de imagens digitais da superfície plantar de recém-nascidos. Para avaliar e evoluir esse método, foi desenvolvido um sistema de suporte à decisão em software livre, que combina técnicas de Mineração de Dados e Processamento de Imagens. Palavras-chave: Idade Gestacional, Processamento de Imagens, Mineração de Imagens. Abstract - The gestational age is one of the most used measures to guide diagnostics of the specialists in neonatology to guarantee the newborn surveillance. However, the currently available methods to determine the gestational age, when this measure in not known a priori, are based in subjective evaluations, have low precision and demand invasive procedures. Based on this scenario, the FootScanAge method was conceived, seeking to determine the gestational age through digital imaging of the newborn plantar surfaces. To support the evaluation and evolution of this method, it was developed an Open Source Decision Support System that combines Data Mining and Image Processing techniques. Key-words: Gestational Age, Decision Support System, Image Mining. Introdução Os métodos existentes para a determinação da idade gestacional (IG) - Ballard [1] e [2], Parkin [3], Dubowitz [4], Capurro [5] - possuem três principais limitações: (1) têm baixa precisão, (2) são invasivos, requerendo manuseio intensivo dos recém-nascidos, e (3) são baseados em pesquisas envolvendo um pequeno número de bebês [6]. Baseando-se neste cenário e considerando-se a importância do conhecimento da IG [7], foi criado o método FootScanAge, que apresenta uma nova alternativa para os métodos correntes, uma vez que a sua abordagem é nãoinvasiva, sendo baseada apenas na extração de características da imagem da superfície plantar (borrão) do recém-nascido. Para dar suporte a avaliação e evolução deste novo método, foi desenvolvido em Software Livre e Java um sistema de auxílio à decisão com dois módulos principais: FootScanAge Web e FootScanAge Desktop. O primeiro módulo é um prontuário eletrônico que gerencia uma base de dados com informações sobre a mãe e o recémnascido, incluindo informação pessoal, exames e diagnósticos. O segundo combina técnicas de Processamento de Imagens para extrair características das imagens da superfície plantar e as analisa através de algoritmos de Mineração de Dados, numa composição denominada Mineração de Imagens [8]. O foco deste trabalho é a ferramenta de Mineração de Dados [9]. Metodologia Para estimar um escore para a IG, é necessário enfrentar alguns desafios: os métodos existentes são baseados em pesquisas envolvendo um pequeno conjunto de bebês prematuros; a maioria dos métodos requer um manuseio intensivo dos recém-nascidos para identificação de características neurológicas e fisiológicas; os métodos considerados mais rápidos são mais imprecisos, uma vez que usam um conjunto menor de características. Assim, o FootScanAge foi desenvolvido objetivando obter uma boa estimativa para o escore da IG, de forma automática e baseando-se em uma simples origem de dados: a imagem da superfície plantar dos recém-nascidos [6], [8] e [9]. A essência do minerador do método FootScanAge é baseada no aprendizado de um

modelo de regras sobre um banco de dados de características extraídas de imagens, e o conhecimento descoberto é aplicado sobre uma nova imagem de entrada. Entretanto, existe a necessidade de construir um banco de dados (com texto e imagens) para validar esse método conforme a população de recém-nascidos cresça. Para confirmar essa estratégia, o sistema FootScanAge foi desenvolvido para permitir o gerenciamento das informações e a adição de mais regras e particularidades, se necessário. Dentro desse conceito, algumas técnicas foram emprestadas de outras disciplinas para formar uma nova, chamada Mineração de Imagens [8], que é um subconjunto da Mineração de Dados Multimídia [10]: a extração de características e a limpeza dos dados da Mineração dos Dados [11] são combinadas com os algoritmos de extração de características da Visão Computacional e do Processamento de Imagens Digitais [12]; as estratégias de Aprendizado de Máquina da Mineração de Dados são melhoradas e aplicadas nesse novo banco de dados; a Recuperação de Imagens por Conteúdo [13] também é empregada, uma vez que as imagens correspondentes a diferentes IGs são comparadas e ordenadas de acordo com a sua relevância, por exemplo, para apoiar estudos. Neste contexto, uma das contribuições principais do minerador do sistema FootScanAge é a habilidade de combinar múltiplos algoritmos, técnicas e paradigmas, uma vez que todas essas estratégias estejam agrupadas para auxiliar o especialista em neonatologia a analisar o recémnascido e inferir uma IG final. O sistema FootScanAge é composto por dois módulos principais: o FootScanAge Web, que serve como base para catalogar e gerenciar os dados maternos e do recém-nascido, incluindo informações de pré-nascimento e de pósnascimento; e o FootScanAge Desktop, que implementa a solução de Mineração de Imagens. O módulo FootScanAge Web foi desenvolvido usando diversas tecnologias livres baseadas na linguagem de programação Java [14]. Para executar o módulo Web, o usuário deve acessar o endereço do servidor e o sistema mostra a sua primeira página (Figura 1). Depois de selecionar o menu apropriado, o usuário é capaz de realizar várias operações: (a) gerenciar informações maternas; (b) gerenciar uma ou mais gestações por mãe; (c) incluir diagnósticos sobre exames tanto da mãe como do recém-nascido; (d) adquirir e submeter imagens da superfície plantar dos recémnascidos para o módulo Desktop (Figura 2). Para tornar possível a implementação do módulo Desktop, várias bibliotecas gratuitas também baseadas em Java foram combinadas, enfatizando assim a importância desse tipo de software livre. Os algoritmos de Processamento de Imagens foram implementados usando a biblioteca JAI (Java Advanced Imaging) [15]. A JAI é uma biblioteca que agrupa ferramentas que lidam com diferentes formatos de imagens, contém operadores embutidos e filtros que permitem a execução de tarefas básicas ao se lidar com imagens, e para criar novos algoritmos. A fase de mineração de dados é desenvolvida baseada na ferramenta livre Weka [16], que possui um conjunto de algoritmos de aprendizado de máquina. Depois de enviada, a imagem é então processada e analisada, como será descrito nas próximas seções. A fase de Processamento de Imagens não é o assunto principal deste artigo e por isso será discutida apenas brevemente, na próxima seção. Figura 1. Página inicial do FootScanAge Web. Figura 2. Adquirindo e enviando a imagem.

Para gerar o conjunto de características que deve ser analisado e minerado na próxima fase, o sistema executa os seguintes passos (Figura 3): (a) Pré-processamento: rotação da imagem, redução de ruídos e seleção da região de interesse. (b) Binarização: converte a imagem para preto e branco. (c) Rotulação: remove pequenas regiões da imagem e auxilia na remoção dos dedos. (d) Remoção dos dedos: isola a superfície plantar. (e) Detecção de regiões: ajuda o passo extração de características. (f) Extração de características: várias características são extraídas de todo pé e de cada região, tais como área, momentos e curvatura do pé. Figura 5. Estimando o escore final. O primeiro passo consiste em construir um banco de dados de conhecimento sobre os dados de treinamento, chamado de modelo de mineração. Através de aprendizado supervisionado sobre as instâncias, o sistema gera um modelo de classificação. Cada modelo pode ter um ou mais algoritmos combinados, criando assim um agrupamento de classificadores [17]. De fato, cada algoritmo pode ser considerado um agrupamento de outros classificadores. É possível armazenar esses modelos para uso futuro, por exemplo, o usuário não tem necessidade de gerar um novo modelo a cada nova instância (Figura 6). Figura 3. Fases do processamento de imagens. Ao final do processo, o usuário confirma e salva as informações no banco de dados, iniciando a mineração de imagens. Dentro da Mineração de Imagens, o objetivo principal da ferramenta é estimar a IG. Essa tarefa é realizada combinando duas abordagens diferentes de mineração, a classificação e a regressão, gerando assim dois escores. Esses resultados, quando usados juntamente com o conhecimento obtido por métodos tradicionais (quando disponíveis), guiam o especialista a inferir um resultado final. Esse processo é resumido nas Figuras 4 e 5. Figura 6. Selecionando e aplicando o modelo. Quando uma nova imagem é analisada, suas características são extraídas e os modelos de mineração são aplicados para a instância corrente, gerando dois tipos de saída: uma distribuição de probabilidades por IG; e um escore exato para a IG. As saídas são apresentadas em forma textual e gráfica, como nas figuras 7 e 8. Figura 4. Criando um modelo de mineração. Figura 7. Saída gráfica dos escores.

FootScanAge, os métodos tradicionais e a sua própria experiência para inferir o resultado final. Figura 8. Exemplo de distribuição de probabilidades. Além destas funcionalidades, uma estratégia complementar foi incluída no sistema FootScanAge, dando ao usuário um outro instrumento para auxiliá-lo a estimar o escore da IG: um Sistema de Recuperação de Imagens por Conteúdo (SRIC). A ferramenta é baseada no algoritmo de FastMap [18], que aplica redução de dimensionalidade sobre um conjunto de características para cada instância do banco de dados, gerando um índice que facilita a comparação entre as imagens. O sistema calcula a distância entre a nova imagem e as imagens existentes, gerando uma lista de imagens ordenada por similaridade. Para auxiliar o neonatologista, cada registro também contém: um número de identificação do recém-nascido, a imagem da superfície plantar, e a IG correspondente. O SRIC desenvolvido se comporta como uma ferramenta de mineração visual de dados [19], onde os especialistas podem interativamente explorar o banco de dados de imagens existentes, como mostrado na Figura 9. Resultados Tentando confirmar a eficiência do método proposto, foram realizadas várias avaliações sobre o conjunto de dados de teste, que contém 280 exemplos. Os testes têm como objetivos: explorar os melhores algoritmos de regressão e classificação disponíveis na ferramenta Weka; definir estratégias para limpeza automática dos dados (remover instâncias fora do padrão); aferir quanto à combinação de características que afetam o resultado final. Os testes foram aplicados usando validação cruzada [20] e mostram que os melhores algoritmos para testar o banco de dados foram: J.48 [21], REPTree [22], M5P [21] e o LMT [23] (Logistic Model Trees Árvores de Modelo Logístico). Esses algoritmos geraram resultados similares, mas com distribuição de probabilidades diferentes para cada IG (para os algoritmos de classificação) e diferente precisão (para os algoritmos de regressão). Diversas combinações de diversas características foram analisadas. Para selecionar os atributos, os mesmos algoritmos de classificação e regressão foram aplicados, dando dicas sobre o melhor grupo de atributos. Para limpar os dados, uma abordagem similar foi realizada, chamada de filtro de limpeza. A Tabela 1 mostra os resultados obtidos da execução do algoritmo M5P sobre diferentes conjuntos de atributos e instâncias. Tabela 1. Resultados da regressão. Atributos Filtro de Erro médio Bagging limpeza absoluto Todos Não Não 1.4484 Todos Sim Não 1.1991 Todos Não Sim 1.3733 Todos Sim Sim 1.1480 10 Não Não 1.3573 10 Sim Não 1.1638 10 Não Sim 1.3313 10 Sim Sim 1.1488 Figura 9. Resultados da consulta no SRIC. O propósito de combinar algoritmos e estratégias de mineração é tentar diminuir a incerteza existente no processo de determinação da IG. Neste nível, o sistema FootScanAge age como um sistema de auxílio a decisão, onde o usuário considera opiniões diferentes o método A primeira coluna indica quantos atributos foram utilizados. A segunda mostra se o filtro de limpeza foi utilizado, se sim sendo removidas 14 instâncias. A terceira coluna demonstra que o algoritmo aplicado fez uso do método de agrupamento chamado Bagging. A última coluna demonstra o resultado final, o erro médio absoluto para o algoritmo. Outros experimentos também foram realizados para avaliar como a estratégia de classificação se

comporta com diferentes combinações de algoritmos e atributos para também aferir quanto à distribuição de probabilidades pode influenciar na estimativa da IG. Os testes exibidos na Tabela 2 foram realizados usando 67% das instâncias para treinamento dos algoritmos (REPTree combinado com J4.8, REPTree e o REPTree com Bagging) e aplicar o modelo de mineração sobre as instâncias restantes. Essa tabela mostra quatro conjuntos de testes (A, B, C, D), a distribuição de probabilidade (alguns valores foram omitidos), a IG real (IG) e a predita (IP). Tabela 2. Experimentos com a Classificação. (a) REPTree e J4.8 Todos atributos A 40 40 0 0 0 0 0 8 9 0 69 13 1 B 40 37 0 0 0 0 25 33 9 0 19 3 1 C 33 33 4 73 0 0 19 4 0 0 0 0 0 D 42 41 0 0 0 0 0 8 9 17 19 46 1 (b) REPTree e J4.8-7 atributos A 40 41 0 0 2 1 1 6 11 1 3 5 1 B 40 38 0 0 2 1 1 6 44 1 27 14 7 C 33 36 2 15 8 0 6 2 0 0 2 0 0 D 42 41 0 0 2 1 1 6 11 1 3 50 1 (c) REPTree - 7 atributos A 40 40 0 0 3 1 1 12 21 1 43 16 2 B 40 40 0 0 3 1 1 12 21 1 43 16 2 C 33 33 4 31 15 0 19 4 0 0 4 0 0 D 42 40 0 0 3 1 1 12 21 1 43 16 2 (d) REPTree com Bagging - 7 atributos A 40 40 0 0 1 0 0 2 18 0 31 29 1 B 40 40 0 0 2 3 1 16 2 1 37 3 18 C 33 33 1 26 22 0 23 17 0 0 3 4 0 D 42 40 0 0 0 0 0 19 6 2 47 24 3 Os grupos de testes tiveram um erro médio absoluto de 1.77, 2.08, 1.57 e 1.4 semanas, respectivamente, considerando todo o conjunto de testes. Esses resultados ilustram a importância do cuidado que se deve ter com a combinação de algoritmos e atributos, e como o uso do agrupamento de classificadores (Bagging) pode melhorar a precisão da classificação. Além disso, é importante perceber que em certos casos, mesmo quando os algoritmos escolheram a IG incorreta, a distribuição de probabilidades mostrou que a classe correta ou uma classe mais próxima da real pode ser escolhida. Considerando os métodos atuais de descoberta de IG, o erro médio absoluto de 1.14 semanas é um escore muito promissor. Os resultados alcançados também revelam que o uso de todos os atributos reduz a precisão do método. O uso da estratégia de agrupamento de classificadores (Bagging) e outras informações (mãe/bebê) também podem melhorar precisão da solução. Apesar do uso de poucos atributos ter apresentado um resultado melhor, não se pode dizer que os atributos selecionados são adequados para todos os tipos de recémnascidos. Acredita-se que usando uma maior população de bebês, de diferentes regiões geográficas, pode auxiliar a chegar a uma conclusão definitiva. Contudo, os resultados apresentados mostraram grande importância para construir o sistema FootScanAge, que pode acompanhar a evolução do banco de dados com a flexibilidade de ajudar o usuário a inferir o resultado final através de diferentes técnicas. Discussão e Conclusões Para apoiar o método FootScanAge, foi desenvolvido um sistema que auxilia na obtenção de dados sobre recém-nascidos, analisa características extraídas de imagens da superfície plantar e ajuda o especialista a determinar o escore final. Para ter sucesso nesta tarefa, a aplicação faz uso do processo de Mineração de Imagens que mistura técnicas tais como: Processamento de Imagens e Mineração de Dados. O resultado final é um sistema que mantém um banco de dados de conhecimento que evolui conforme novas instâncias e características são adicionadas a ele. Resultados preliminares extraídos do banco de dados teste mostraram que o escore obtido pelo FootScanAge é muito promissor ao se comparar com os métodos existentes. Para validar e melhorar o método, a versão corrente do sistema está sendo aplicada no Hospital de Clínicas da UFPR, visando obter novas instâncias, novas características e novos modelos de mineração. Um outro aspecto relevante do sistema é a habilidade de combinar diferentes abordagens de aprendizado de máquina e a sua flexibilidade para manusear diferentes características, obtidas da imagem ou combinadas com outros dados. Com uma análise cuidadosa dos modelos de mineração e das características da imagem, o método FootScanAge pode ser aplicado em outras cidades ou países, criando modelos mais robustos e precisos. Esta solução também pode ser aplicada sobre outro escopo, permitindo o uso em diferentes cenários, dentro de sistemas médicos e sistemas de apoio à decisão.

Agradecimentos Os autores gostariam de agradecer à FINEP, ao CNPq, e à CAPES pelo apoio financeiro ao projeto. Referências [1] Ballard, J. L., Khouri, J. C., Wedig, K., Wang, L., Eilers-Walsman, B., Lipp, R. (1991), New Ballard Score, expanded to include extremely premature infants, The Journal of Pediatrics, v. 199, p. 417-423. [2] Ballard, J., Novak, K., Driver, M. (1979), A simplified score for assessment of fetal maturation of newly born infants, Journal of Pediatrics, v. 95, n. 1, p. 769-774. [3] Parkin, J. M., Hey, E. N., Clowes, J. S. (1976), Rapid assessment of gestational age at birth, Archives of Diseases in Childhood, v. 51, n. 4, p. 259-263. [4] Dubowitz, L. M., Dubowitz, V., Goldberg, C. (1970), Clinical assessment of gestational age in the newborn infant, Journal of Pediatrics, v. 77, p. 1-10. [5] Capurro, H., Konichezki, S., Fonseca, D., Caldeyro- Barcia, R. (1978), A simplified method for diagnosis of gestational age in the newborn infant, Journal of Pediatrics, v. 93, p. 93-120. [6] Bellon, O. R. P., Cat, M. N. L., Silva, L., Boyer, K. L. (2005), "Using computer vision to help the determination of the gestational age of newborns", Academic Radiology, v. 12, n. 5, p. 544-553. [7] Cat, M. N. L. (2003), O método FootScanAge para determinação da idade gestacional. Tese de Doutorado. Universidade Federal do Paraná, Curitiba (PR). [8] Zhang, J., Hsu, W., Lee, L. M. (2001), "Image mining: issues, frameworks and techniques", In: Proceedings of the 2nd International Workshop on Multimedia Data Mining, p. 13-20. [9] Araújo, A. V. (2006), Árvores fuzzy para mineração de imagens do sistema FootScanAge. Tese de Mestrado. Universidade Federal do Paraná, Curitiba (PR). [10] Zaïane, O.R., Han, J., Li, Z. (1998), "Multimediaminer: a system prototype for multimedia data mining", In: ACM SIGMOD Conference on Management Data, v. 27, n. 2, p. 581-583. [11] Fayyad, U. M., Piatestsky-Shapiro, G., Smyth, P. (1996), "From Data Mining to Knowledge Discovery: An Overview", In: Advances in Knowledge Discovery and Data Mining, p. 1-34. [12] Gonzales, R. C., Woods, R. E. (2000), "Digital Image Processing", Addison Wesley. [13] Del Bimbo, A. (1999), Visual information retrieval, Morgan Kaufmann. [14] Java Enterprise Edition. (2005), (Online). Disponível em: http://java.sun.com/javaee/index.jsp. (Acessado: Jan. 23, 2005). [15] JAI Java Advanced Imaging. (2005), (Online). Disponível em: http://java.sun.com/products/javamedia/jai/index.jsp. (Acessado: Jan. 23, 2005). [16] Witten, I. H., Frank, E. (2005), "Data Mining: Practical machine learning tools and techniques", 2nd Edition, Morgan Kaufmann, San Francisco. [17] Dietterich, T. G. (2000), "Ensemble Methods in Machine Learning", Lecture Notes in Computer Science, v.1857, p. 1-15. [18] Faloutsos, C., Lin, K. (1995), "FastMap: A Fast Algorithm for Indexing, Data-Mining and Visualization of Traditional and Multimedia Datasets," In: Proceedings of 1995 ACM SIGMOD, n.2, v. 24, p. 163-174. [19] Rodrigues Jr, J. F., Traina, A. J. M., Traina Jr, C. (2003), "Enhancing Data Visualization Techniques", In: Proceedings of Third IEEE Intl. Workshop on Visual Data Mining, p. 97-112. [20] Schaffer, C. (1993), "Selecting a Classification Method by Cross-Validation", Machine Learning, v. 13, p. 135-143. [21] Quinlan, R. (1993), "C4.5: Programs for Machine Learning", Morgan Kaufmann Publishers, San Mateo, CA. [22] Quinlan, R. (1992), "Learning with continuous classes", In: Proceedings in AI'92, Adams & Sterlings, World Scientific, Singapore, p. 343-348. [23] Landwehr, N., Hall, M. M, Frank, E. (2003), "Logistic Model Trees", In: 14th European Conference on Machine Learning, p. 241-252. Contato Grupo Imago - Departamento de Informática Universidade Federal do Paraná (UFPR). Caixa Postal: 19.081 CEP: 81531-990. Curitiba/PR Brasil. E-mails:{anderson,olga,luciano}@inf.ufpr.br, evv95@yahoo.com.br, monica_cat@uol.com.br