Redes Neurais Artificiais Aplicadas à Segmentação e Classificação de Imagens Digitais de Úlceras Cutâneas

Transcrição

1 Redes Neurais Artificiais Aplicadas à Segmentação e Classificação de Imagens Digitais de Úlceras Cutâneas Tarallo 1, A. S.; Gonzaga 1, A.; Frade 2, M. A. C.; Rocha 1, W.G. {tarallo, adilson}@sel.eesc.usp.br, mandrey@fmrp.usp.br, rochaw@sel.eesc.usp.br Universidade de São Paulo - USP 1 Escola de Engenharia de São Carlos (EESC) - Departamento de Engenharia Elétrica 2 Faculdade de Medicina de Ribeirão Preto (FMRP) - Departamento de Clínica Médica Abstract Treatments of leg ulcers are generally expensive and made by direct manipulation for analysis of its evolution. The treatment efficiency is observed through the reduction of the size of ulcers in relation to the amount of tissues found in their beds, which are classified as granulated/slough. These results are obtained through analyses performed after consultation due to the time these analyses take. This work proposes a new noninvasive technique for the follow-up of treatments aimed at cutaneous ulcers. In this methodology, it was proposed that digital photos of cutaneous ulcers would be submitted to an artificial neural network (ANN), so that all surrounding the wound except for the wound itself could be extracted (skin/background), thus obtaining the ulcerated area. Computer vision techniques have been applied in order to classify the different types of tissues found in the ulcer bed, thus obtaining the corresponding granulation and slough percentages as well as its area. The results obtained have been compared with the results obtained by Image J software. Finally, this methodology will be a useful tool for health professionals in relation to the quickness and precision that it will provide results along the consultation. Keywords: Leg Ulcer; Computer Vision; Artificial Neural Network. 1. Introdução Úlceras de perna são um problema de Saúde Pública que atinge de 3% a 5% da população acima de 65 anos, e 1% da população adulta [12]. O seu tratamento possui algumas complicações devido ao longo período, ao desconforto dos curativos, além das incertezas quanto ao seu sucesso, pois a sua cura sofre influência de vários fatores que atuam como variáveis intervenientes no processo, causando significativo impacto social e econômico. Seu tratamento é trabalhoso, oneroso e longo, devido a inúmeros fatores etiopatogênicos associados, constituindo-se em uma das principais causas de absenteísmo ao trabalho. O uso de ferramentas computacionais, envolvendo processamento de imagens (Visão Computacional), consiste em alternativa de método de análise para o acompanhamento e tratamento das úlceras de perna. Por este método não há o contato direto com a ferida; pois as úlceras são analisadas através das imagens digitalizadas de tais feridas [2], [7]. Dessa forma, o profissional tem uma ferramenta de auxílio para o seguimento das úlceras. Este trabalho vem a ajudar na análise de úlceras de perna, de forma quantitativa de cada tecido encontrado na parte interna das feridas, que são classificados como: granulado e fibrina e no cálculo da área da ferida. Com estas medidas, pode-se ter uma perspectiva da evolução do tratamento da ferida, ou seja, proporciona o acompanhamento dinâmico-terapêutico da cicatrização. Este trabalho propõe desenvolver uma abordagem para classificar tecidos de úlcera de perna para auxiliar os especialistas da área na evolução do tratamento. A utilização pelo especialista de um programa de computador com a metodologia proposta pode levar o paciente a se sentir mais seguro, por não haver contato direto com a ferida para obter amostras para esta análise. A abordagem proposta, em uma primeira fase, consiste em realizar a extração de características da base de imagens digitais de úlcera de perna através de amostras de cor retiradas das imagens de úlceras manualmente, e aplicadas a uma Rede Neural Fase de Treinamento. Em uma segunda fase, as imagens são aplicadas ao teste da rede neural, para segmentação de imagens; são usadas, também, técnicas de processamento de imagens para, através das cores, classificar os tecidos encontrados na região interna da ferida Fase de Testes. 2. Materiais e Métodos Foram utilizadas imagens do banco de imagens do

2 Figura 1 Exemplo de uma imagem com as devidas regiões de ruído, pele e úlcera. ADUN (Ambulatório da Dermatologia de Úlcera Neurovasculares) e do CSE (Centro de Saúde Escola) da FMRP-USP (Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo), junto a Divisão de Dermatologia do Departamento Clínica Médica da FMRP-USP. As fotografias foram tiradas através da câmera Sony Cybershot P-93, com 5.1 Megapixels de resolução, zoom óptico de 3x e zoom digital de 12x. As imagens escolhidas aleatoriamente do banco de imagens foram padronizadas e não-padronizadas quanto a zoom, iluminação, distância da câmera à perna do paciente e o foco da câmera na perna do paciente. Foram selecionadas 50 imagens para testar e validar esta metodologia em formato JPG, obtidas em 3 Megapixels. A abordagem proposta se divide em duas fases, na primeira ocorre a extração das características de cor e o treinamento da ANN (Fase de Treinamento). A segunda fase consiste de segmentar as imagens (Teste da ANN) [10], aplicação de técnicas de processamento de imagens digitais [9] para a eliminação de ruídos, melhoria de qualidade na imagem e posterior classificação dos tecidos no leito da ferida Fase de Testes. Primeiramente foram aplicados 2 algoritmos às imagens para serem obtidas características de cor, quanto à pele, úlcera (leito) e ruídos na imagem (fundo - tudo que não seja pele e área ulcerada), servindo como entrada para o treinamento da ANN para distinguir as características de cor da área e borda da ferida das outras cores não interessantes à ferida, formando padrões de treinamento; a figura 1 mostra um exemplo de uma imagem com as devidas regiões do que é pele, úlcera e ruídos na imagem. Pelo primeiro algoritmo se obtém as características de cor referente à pele e não-pele (pele/ruído/fundo), no modelo RGB; este processo é realizado manualmente pelo próprio operador do computador (mas é desejável que este processo seja realizado por um profissional da área da saúde, pois saberá quais são os melhores pontos a serem selecionados, por saber melhor o que cada cor corresponde na imagem). O software utilizado para o desenvolvimento desta metodologia foi o Matlab 7.0 [15], que abre as 50 imagens utilizadas (uma por vez) e espera o operador do computador selecionar a região devida com o mouse, pelo algoritmo. Cada característica de cor da região selecionada é armazenada em um arquivo do tipo texto, formando o vetor de característica (matriz de pele/não-pele), conforme a figura 2, que representa a média dos canais R, G e B da região selecionada. Figura 2 Exemplo da Matriz de Pele/Não-pele. Se uma foto contiver várias regiões de características interessantes, essa imagem é aberta mais de uma vez para a seleção das devidas características. Os valores contidos em cada linha da figura 2 representam : -1 é bias utilizado pela rede neural para a ativação do neurônio; Os três próximos valores referem-se ao valor de R,G,B da cor selecionada pelo usuário; 1 é o valor que será utilizado como saída desejada pela rede neural para pele e não-pele. O segundo algoritmo serve para obter as características de cor da ferida, no modelo RGB; são obtidas da mesma forma que no primeiro algoritmo. O vetor de característica (matriz de feridas) de cada cor selecionada é salvo em outro arquivo do tipo texto. A saída desejada da matriz de feridas é o -1. Estas duas matrizes vão formar os padrões de treinamento, que vão ser utilizadas para o treinamento da ANN.

3 ... Seleção de Pontos Manual Matriz de Pele/Não Pele Matriz de Feridas Entradas da Rede Neural Rede Neural MLP T R E I N A M E N T O Etapa 1 Etapa 2 Figura 3 - Primeira fase da abordagem proposta. A primeira fase da metodologia proposta se divide em duas etapas. Na primeira são obtidas características de entrada para a rede neural (características de cor) e na segunda etapa estas características são aplicadas na rede neural para o seu treinamento Figura Treinamento da ANN O treinamento da ANN foi aplicado as 25 primeiras imagens do banco de imagens; estas numeradas de 1 a 50. As características extraídas (padrões de treinamento) são aplicadas a uma ANN MLP Feedforward, com o algoritmo de treinamento Backpropagation, [10], a arquitetura mais utilizada para classificação de padrões em trabalhos de diversas áreas, sendo que as imagens de úlcera cutâneas foram geradas no modelo de cores RGB. As características do treinamento são: Os dois vetores de características são concatenados para formar a matriz de treinamento. O bias, características RGB e a saída desejável são colocadas em variáveis separadas, respectivamente; e as características RGB normalizadas para o intervalo de [-1, 1]; A Rede é inicializada utilizando a função mínimo/máximo da matriz de treinamento; O treinamento da rede neural foi feito utilizando a função de ativação sigmóide tangente-hiperbólica (serve para que os valores das características RGB não saiam do intervalo normalizado) para as três camadas ocultas da rede neural e mais a camada de saída; é utilizado o gradiente de momento; Os valores de outros parâmetros utilizados neste algoritmo e na Rede Neural serão especificados nos próximos tópicos Teste da ANN (Classificação das Imagens) Na segunda fase ou Fase de Testes, verifica-se a eficiência da rede neural na segmentação das 50 imagens a partir dos resultados obtidos no treinamento. Um pósprocessamento é necessário para eliminar alguns ruídos restantes e preparar melhor a imagem para classificação dos tecidos. A figura 4 apresenta a segunda fase da abordagem proposta. As técnicas empregadas são as operações morfológicas de erosão e dilatação [9], [15]. Finalmente os tecidos das imagens são classificados com base na contagem de pixels, relacionadas às cores similares às dos tipos de tecidos pixels de cor vermelha para granulação e amarela para fibrina. Foi também calculada a porcentagem desses dois tipos de tecidos e a área da úlcera na imagem. O algoritmo implementado (Teste da ANN) possui os seguintes passos: 1) Segmentação das Imagens; 2) Pós-Processamento: As imagens são processadas através de dilatação e erosão e sobreposição de imagens afim de eliminar ruídos e restar apenas a região da ferida; 3) Contagem dos pixels referentes ao tecido de granulação e fibrina/esfácelo e cálculo da percentagem referente a cada tecido na imagem; 4) Geração de uma imagem com marcações, na qual são contados os pixels referentes à granulação e fibrina: os pixels brancos são os de tecido de granulação e os outros são os de tecido de fibrina;

4 Resultados do Treinamento Teste da Rede Neural MLP Contagem de pixels de cada imagem Técnicas de Processamento de Imagens Cálculo da porcentagem de cada tecido Figura 4 - Segunda fase da abordagem proposta. 5) Cálculo da área da ferida de úlcera de perna em cm 2. A segmentação é executada pela Rede Neural, utilizando os parâmetros do Conjunto de Treinamento, e comandos baseados no toolbox de Redes Neurais do software Matlab 7.0 [15], e a imagem resultante que separa a ferida do resto da imagem é obtida imagem pré-processada Pós-Processamento A imagem pré-processada é submetida a um pósprocessamento a fim de eliminar ruídos e restar somente a região da ferida na imagem. Para isso foram utilizados operadores morfológicos de erosão e dilatação. Para utilizar erosão e dilatação no Matlab, a figura tem que ser convertida em escala de cinza, pois só assim é permitido utilizar os operadores morfológicos citados. Para utilizar operadores morfológicos é necessário criar um elemento estruturante, que serve de parâmetro para a dilatação. O elemento estruturante utilizado foi no formato de um quadrado square. Na seqüência é utilizado o detector de bordas de Sobel. São realizadas sobreposições dessa imagem com a imagem original obtendo-se nova imagem melhorada e com menos ruído imagem pós-processada, na qual foram contados os pixels e feitos os cálculos. Figura 5 Resultados da segmentação de úlcera de perna. Em (a) Imagem Original (b) Imagem Pré-Processada (c) Imagem Pós-Processada (d) Imagem com pixels contados.

5 Por último, foi gerada uma imagem baseada na imagem pós-processada, com marcações dos locais em que foram contados os pixels de fibrina e granulação. A figura 5 mostra as imagens de acordo com a seqüência de execução do algoritmo. Os parâmetros utilizados na ANN desta metodologia podem ser observados na tabela 1. Tabela 1 Valores dos Parâmetros da Rede Neural. Parâmetro Valor Neurônios na 1ª camada oculta 4 Neurônios na 2ª camada oculta 4 Neurônios na 3ª camada oculta 1 Termo de Momento 0,5 Número de Épocas de Treinamento 1000 Taxa de Erro do Treinamento 1x Resultados e Análises Considerando as 50 imagens de teste, as médias das percentagens de fibrina e granulação em relação a imagem total e considerando somente a área da ferida segmentada, podem ser verificadas na tabela 2. Os resultados foram obtidos pela metodologia proposta. Tabela 2 Média aritmética da percentagem de Tecidos Metodologia Proposta. Imagem Total Área de Ferida Fibrina 10,5% 26,1% Granulação 18,4% 73,9% As mesmas imagens testadas na metodologia proposta foram aplicadas ao software livre Image J (usa técnicas não automáticas de processamento de imagens) para comparação, pois este software é utilizado no departamento de dermatologia da FMRP-USP para análise das imagens de úlcera de perna. Os resultados obtidos pelo Image J podem ser observados na tabela 3 [8]. Tabela 3 Média aritmética da percentagem de Tecidos Image J. Imagem Total Área de Ferida Fibrina 18,9% 43,3% Granulação 30,0% 56,7% Os resultados obtidos pelo software livre Image J e pela nossa metodologia mostraram-se satisfatórios; na área total de ferida, a média foi 13.1 cm 2 pela metodologia proposta e de 14.1 cm 2 pelo Image J (Figura 6). Em relação a granulação, a média obtida foi de 12.4 cm 2 pela metodologia proposta e 12.6 cm 2 pelo Image J ( Figura 7). Em relação a fibrina, a média foi de 1.8 cm 2 (nossa metodologia) e 1.9 cm 2 pelo Image J (Figura 8). Vale lembrar que a demarcação da área ulcerada pelo Image J é feita manualmente, gastando muito tempo até chegar aos resultados finais; já pela metodologia proposta esse processo é feito de forma automática pela rede neural artificial, ficando mais rápido e prático o processamento. Essa demarcação manual afeta na diferença dos resultados da tabela 2 e 3, bem como algumas péssimas interpretações da RNA devido as qualidades das imagens e de obtenção das mesmas. Os resultados foram analisados por um especialista da área médica, que verificou a concordância dos resultados obtidos. A figura 6 mostra o gráfico do Teste t Student aplicado aos resultados obtidos pela metodologia proposta e Image J para áreas totais. Os dois traços no meio do gráfico mostram as médias aritméticas dos resultados para cada metodologia, e pode-se observar que ambas estão muito próximas. Figura 6 Resultados do Teste t para área. Também foi calculada a área de cada ferida em cm 2 em relação à imagem total, tanto pela metodologia proposta quanto pelo Image J; as médias aritméticas dos resultados podem ser verificadas na tabela 4. Tabela 4 Média aritmética das Áreas das Feridas. Metodologia Proposta Image J Área Média 14,1cm 2 13,1cm 2 Figura 7 Resultados do Teste t para granulação.

6 REFERÊNCIAS Figura 8 Resultados do Teste t para fibrina. Da mesma forma existem dois outros gráficos que também comprovam a similaridade dos resultados obtidos pelo Image J e pela pesquisa deste trabalho; a figura 7 mostra os resultados do Teste t Student para área de granulação e a figura 8 para a área de fibrina. 4. Conclusões Tanto o uso pelo Image J como pela nossa metodologia baseada em ANN apresentam resultados satisfatórios. Foi aplicado Teste t Student com parâmetro de 95% de acerto nos resultados obtidos para comprovação da eficiência das metodologias. Com isso fica-se comprovado que a variação entre os resultados obtidos pela metodologia proposta e pelo Image J são aceitáveis e que as metodologias podem ser aplicadas na prática. Os resultados sugerem que ambos os métodos de análise de imagens mostraram-se eficazes na mensuração das áreas total, de granulação e de fibrina, consolidandose em métodos adequado para avaliação dinâmicoterapêutica das úlceras de perna. As Redes Neurais Artificiais mostraram-se uma metodologia superior de análise de imagens quanto a praticidade, com menor interferência do aplicador/pesquisador por não requerer delineamento manual. Este projeto encoraja e contribui para a divulgação de novas tecnologias e conseqüente uso do software nesta área e também para o surgimento de novas linhas de pesquisas. [1] Abbade, L. P. F., Lastória, S., Venous ulcer: epidemiology, physiopathology, diagnosis and treatment. International Journal of Dermatology, Vol. 44, pp [2] Albu, A., Ungureanu, L., Artificial Neural Network in Medicine. In Symposium on Applied Computational Intelligence. [3] Barros, J. R., Insuficiência Venosa Crônica. In Pitta, G. B. B., Castro, A.A. & Burihan, E. Angiologia e Cirurgia Vascular: Guia Ilustrado, in UNISAL/ECMAL, Brazil, Maceió. [4] Borges, E. L., Tratamento Tópico de Úlcera Venosa: Proposta de Uma Diretriz Baseada em Evidência, MSc. Thesis, University of São Paulo. [5] Dean, S., Leg Ulcers Causes e Management. Reprinted from Australian Family Physician, Vol. 35, no. 7, pp [6] Figueiredo, M., Úlcera Varicosa. Angiologia e Cirurgia Vascular: Guia Ilustrado, viewed, 13 April 2007, < [7] Goldman, R.J., Salcido, R., More Than One Way to Measure a Wound: An Overview of Tools and Techniques Clinical Management. Advances in Skin & Wound Care, vol.15, no.5. [8] Gomes, F.G., Santana, L. A. & Minatel, D. G., Uso do Software Image J Para Análise Clínico-Fotográfica das Úlceras de Perna. 5 o. Encobio Encontro de Bioengenharia, University of São Paulo, pp. 37. [9] Gonzalez, R., Woods, R., 2002, Digital Image Processing, 2nd edn, Prentice Hall. [10] Haykin, S., 2001, Neural Networks: A Comprehensive Foundation, 2nd edn, Prentice Hall. [11] Kupcinskas, A. J., 2006, viewed 13 February 2006, < [12] Mekkes, J.R., Loots, M.A.M., Van Der Wal, A.C., & Bos, J.D., Causes, Investigation And Treatment Of Leg Ulceration. British Journal of Dermatology, vol.148, pp [13] Phillips, T. J., Dover, J. S., Leg Ulcers. J Am Acad Dermatol, St Louis, vol.25, pp [14] Pitta, G. B. B., Castro, A. A. & Burihan, E, Angiologia e Cirurgia Vascular: Guia Ilustrado, in UNISAL/ECMAL, Brazil, Maceió. [15] Math Works, 2004, ver. 7, computer program, The Math Works Inc., Matlab Help, USA. 5 AGRADECIMENTOS Agradecemos ao Ambulatório de Dermatologia de Úlceras Neurovasculares (ADUN) e ao Centro de Saúde Escola (CSE) do Departamento de Clínica Médica da FMRP-USP pelo fornecimento das imagens de úlcera de perna, aos profissionais dessas entidades por tirar dúvidas sobre a área da saúde e por apoiarem e motivarem o desenvolvimento dessa metodologia.