Treinamento de um Classificador Neural Binário: Estimativa da Distribuição de Padrões

Transcrição

1 Treinamento de um Classificador Neural Binário: Estimativa da Distribuição de Padrões Miguel Antonio Sovierzoski 1, Fernanda Isabel Marques Argoud 2, Fernando Mendes de Azevedo 3 1 Universidade Tecnológica Federal do Paraná (UTFPR) 2 Centro Federal de Educação Tecnológica de Santa Catarina (CEFET-SC) 1,2,3 Instituto de Engenharia Biomédica da Universidade Federal de Santa Catarina (IEB-UFSC) 1 miguelaso@utfpr.edu.br, 2 fargoud@cefetsc.edu.br, 3 azevedo@ieb.ufsc.br Resumo - Com o uso crescente de sistemas de suporte a decisão, principalmente nas Ciências Médicas e Ciências da Saúde, a classificação de padrões torna-se cada vez mais relevante. Este trabalho apresenta uma metodologia para estimar a distribuição de padrões, e insere esta ferramenta nas etapas de treinamento e avaliação do classificador neural binário. A estimativa de distribuição de padrões permite, ao pesquisador, avaliar o contexto do conjunto de padrões, e acompanhar, ao longo do treinamento como o classificador neural está percebendo o conjunto de padrões na forma de distribuição. A condição necessária para estimar a distribuição de padrões, é que seja possível alterar o limiar de decisão do classificador, para analisar o comportamento da sensibilidade e especificidade em função da variável de controle. Independente da natureza dos padrões utilizados ressalta-se que esta metodologia de estimativa da distribuição de padrões aplica-se a qualquer classificador neural com treinamento supervisionado, com duas classes de padrões. A estimativa de distribuição de padrões apresenta-se como uma ferramenta a ser utilizada durante as etapas de treinamento e avaliação do classificador neural para entender como está sendo percebido o conjunto de padrões. Palavras-chave: Classificador, Classificador Neural, Distribuição de Padrões, Desempenho do Classificador. Abstract - Due to the increasing use of decision support systems, especially in Medical Sciences and Health Sciences, the pattern classification is becoming increasingly relevant. This work presents a methodology to estimate the distribution of patterns. This methodology is also inserted into the training and evaluation phases of the binary neural classifier. The estimate of the patterns of the distribution allows the researcher to evaluate the pattern set and the vision of the distribution pattern sets by the neural classifier. In order to estimate the distribution of the patterns, it is needed to change the classifier threshold, to analyze the behavior of the sensitivity and specificity towards the control variable. It is important to emphasize that the given methodology applies to any neural classifier with supervised training possessing two patterns classes. The estimative of distribution patterns presents as a tool to be used during the training and the evaluation phases of the neural classifier, in order to understand how the pattern set is visualized by the neural classifier. Key-words: Classifier, Neural Classifier, Pattern Distribution, Classifier Performance. Introdução Os sistemas de apoio à decisão estão sendo cada vez mais utilizados, em todas as áreas do conhecimento. O classificador neural binário inserese como uma ferramenta neste contexto e o processo para a sua obtenção é uma etapa iterativa com muitos treinamentos e avaliações. Partindo-se do teste-diagnóstico, apresentase, neste trabalho, uma metodologia para estimar a distribuição dos padrões, na percepção do classificador neural. Esta estimativa disponibiliza, para o pesquisador, informações para o entendimento do processo de classificação e a análise da qualidade do conjunto de padrões. Este trabalho apresenta as etapas detalhadas para estimar a distribuição de padrões, e apresenta também o contexto do treinamento e da avaliação do classificador neural. São apresentados os principais resultados do treinamento e da avaliação de um exemplo de classificador neural binário. E finaliza-se o trabalho com as discussões.

2 Metodologia O teste-diagnóstico é uma metodologia de avaliação de desempenho de sistemas classificadores, testes ou exames, muito utilizada nas áreas da Medicina e Ciências da Saúde [1][2]. Supondo a distribuição de duas classes de padrões (doentes e sadios), apresentadas pela figura 1, e um ponto de corte () ou limiar de decisão. Figura 1 Distribuição hipotética de doentes e sadios, perante uma variável de controle ( e um ponto de corte (). Padrões com valores superiores ao ponto de corte são classificados como positivos para a doença, e abaixo do ponto de corte são classificados como negativos para a doença [1][2]. A tabela de contingência (tabela 1) apresenta as relações entre a indicação do especialista (diagnóstico) e o resultado do teste ou exame [1][2]. Tabela 1 Contingência 2x2. indicação do especialista amostra sadio doente resultado positivo FP VP do teste negativo VN FN A classificação dos padrões como verdadeiro positivo (VP) representa acertos do teste, indicando corretamente os casos na distribuição dos doentes com valores superiores ao ponto de corte. Os casos de doentes com valores inferiores ao ponto de corte são classificados como falsos negativos (FN) e representam erros do teste. A classificação dos padrões como verdadeiro negativo (VN) representa acertos do teste, indicando corretamente os casos na distribuição dos sadios com valores inferiores ao ponto de corte. Os casos de sadios com valores superiores ao ponto de corte são classificados como falsos positivos (FP) e representam erros do teste. [1][2] A sensibilidade é o índice de doentes, corretamente indicados pelo teste ou classificador, sendo avaliada pela Equação (1) [1][2]. VP sensibilid ade = 1 [%] (1) VP + FN A especificidade é o índice de sadios, corretamente indicados pelo teste ou classificador, sendo avaliada pela Equação (2) [1][2]. VN especifici dade = 1 [%] (2) VN + FP Se o teste ou classificador permitir alterar o valor do ponto de corte, os indicadores de desempenho podem ser expressos em função desta variável. Da definição da sensibilidade apresentada pela Equação (1), e da distribuição dos doentes da figura 1, pode-se equacionar a sensibilidade em função do ponto de corte (), conforme apresenta a Equação (3). sensibilidade( ) = + (3) Desenvolvendo o numerador e agrupando o denominador, a Equação (3) pode ser melhor representada pela Equação (4). sensibilid ade( ) = 1 (4) Da definição da especificidade apresentada pela Equação (2), e do gráfico da distribuição dos sadios da figura 1, pode-se equacionar a especificidade em função do ponto de corte, conforme apresenta a Equação (5). sadios( especifici dade( ) = (5) sadios( Utilizando as distribuições de padrões da figura 1, e as Equações (4) e (5), obtém-se o comportamento dos índices de desempenho sensibilidade e especificidade para todos os valores da variável de controle, sendo apresentados pela figura 2. Observa-se pela Equação (5) que a especificidade representa a função densidade normalizada da distribuição dos sadios. E observase pela Equação (4) que a sensibilidade representa

3 a diferença entre a unidade e a função densidade normalizada da distribuição dos doentes. perceptron multicamadas, seguido por um elemento discretizador, conforme apresenta a figura 4. O classificador neural binário classifica os padrões em duas classes. X 1 X 2.. Σ φ(.) 1 ld (,1) X n Figura 2 Comportamento da sensibilidade e especificidade em função da variável de controle. As estimativas das distribuições de padrões podem ser obtidas dos gráficos da figura 2, calculando-se a derivada numérica das funções sensibilidade( e especificidade(, sendo apresentadas pela figura 3. Figura 3 Estimativas normalizadas das funções distribuições de padrões, calculadas a partir da derivada numérica da sensibilidade e especificidade em função da variável de controle. Comparando-se as estimativas normalizadas das distribuições de padrões (figura 3) com as distribuições de padrões (figura 1) observam-se comportamentos similares das distribuições, ocorrendo divergências na escala das ordenadas devido à normalização das variáveis. Desta forma, tendo-se as curvas de sensibilidade e especificidade, pode-se calcular as suas derivadas, obtendo-se as estimativas normalizadas das distribuições dos padrões, em relação a variável de controle. Como os conjuntos de padrões são conhecidos, pode-se desnormalizar os gráficos estimados. Um método mais robusto para estimar as distribuições de padrões, também aplicado durante o processo de validação cruzada, é efetuar o levantamento do histograma de valores de saída da RNA e do valor de saída do classificador neural, em relação ao ponto de corte, para as classes do conjunto de padrões de validação. O Classificador Neural Binário é implementado por uma rede neural artificial do tipo Figura 4 Topologia de um classificador neural binário, constituído por uma RNA Perceptron Multicamadas seguida por um discretizador booleano controlado pelo limiar de decisão (ld). A RNA utiliza a função logística como função de ativação (φ(.)) do neurônio da camada de saída, possuindo uma imagem contínua e fechada entre e 1 [3][4]. O elemento discretizador efetua a comparação entre o valor de saída da RNA e o limiar de decisão (ld), apresentando uma saída com valores booleanos para o classificador neural. A variável limiar de decisão do classificador neural binário corresponde a variável de controle do testediagnóstico, e o ponto de corte é um valor específico do limiar de decisão. O treinamento da RNA utiliza o algoritmo de retropropagação do erro (backpropagation) [3][4]. É um algoritmo de gradiente descendente que minimiza o erro médio quadrático entre o valor de saída da rede neural e o valor desejado de saída, para o conjunto de padrões de treinamento. Consiste basicamente nos seguintes passos: 1) inicializar os pesos sinápticos da rede neural; 2) propagar pela rede neural o conjunto de padrões de treinamento; 3) avaliar o erro médio quadrático entre o valor de saída da rede neural e o valor desejado de saída, para todos os padrões do conjunto de treinamento; 4) retro-propagar o erro na saída da rede neural ajustando os pesos sinápticos; 5) retornar para o segundo passo para executar outra época de treinamento. [3][4] O processo de validação cruzada adaptado para a aplicação nas redes neurais consiste em utilizar dois conjuntos de padrões: um conjunto de padrões para realizar o treinamento da rede neural e outro conjunto de padrões para realizar a validação da rede neural. Aplicando o conjunto de padrões de treinamento observa-se no processo de treinamento a convergência do algoritmo. Aplicando o conjunto de padrões de validação observa-se a aprendizagem da rede neural e a época de

4 treinamento com a melhor generalização. Para a avaliação numérica do treinamento e da generalização da rede neural foi utilizado a fórmula do erro médio quadrático, conforme apresenta as Equações (6) e (7). [3] classificador com discriminação ideal (FN= e FP=, => sensibilidade=1 e especificidade=1). N 1 t 2 ξ ( et) =. ( d ( n) y ( n) ) (6) T 2. N t t t n = 1 Onde: d t (n) é a saída desejada para o padrão de treinamento n, y t (n) é a saída da RNA para o respectivo padrão, N t é o número de padrões do conjunto de treinamento e ξ T (et) é o erro de treinamento da época et. N 1 v 2 ξ ( et) =. ( d ( n) y ( n) ) (7) V 2. N v v v n = 1 Onde: d v (n) é a saída desejada para o padrão de validação n, y v (n) é a saída da RNA para o respectivo padrão, N v é o número de padrões do conjunto de validação e ξ V (et) é o erro de validação ou aprendizagem da época de treinamento et. A avaliação do desempenho do classificador neural pode ser realizada durante a fase de treinamento da RNA. Ao final da época de treinamento é aplicado o conjunto de padrões de validação e alterado o valor do limiar de decisão pela faixa permitida de valores, obtendo-se os valores dos indicadores estatísticos (VP(et,ld), VN(et,ld), FP(et,ld) e FN(et,ld)) em função da época de treinamento (et) e do limiar de decisão (ld). Com estes dados, que expressam o comportamento do classificador neural, são gerados os gráficos de sensibilidade e especificidade em função da época de treinamento e do limiar de decisão, resultando em um gráfico semelhante ao da figura 2. Este procedimento integrado de treinamento da RNA e de avaliação do desempenho do classificador neural é melhor detalhado em [5]. A curva ROC (receiver operating characteristics) é considerada a figura de mérito da avaliação de sistemas classificadores aplicados principalmente nas áreas das Ciências Médicas e Ciências da Saúde [6]. Representa a relação entre a sensibilidade e a especificidade do classificador, e é obtida a partir dos gráficos de sensibilidade e especificidade em função da variável de controle. A figura 5 apresenta a curva ROC [7][8]. O principal índice da análise ROC é a área sob a curva (AUC Area Under the ROC Curve), variando de,5, para um classificador que não consegue discriminar os padrões, até 1, para um Figura 5 Curva ROC, com o eixo das abscissas representando a sensibilidade e o eixo das ordenadas representando (1 especificidade). A área abaixo da diagonal tracejada representa um classificador sem poder de discriminação de padrões. Resultados São apresentados os principais resultados do treinamento de um classificador neural binário com as estimativas das distribuições de padrões em três épocas diferentes: durante a aprendizagem, na melhor aprendizagem e na especialização da RNA. Os gráficos da avaliação do erro de treinamento e aprendizado de um treinamento de RNA são apresentados na Figura 6. Figura 6 Comportamento do erro de treinamento (azul) e aprendizado (vermelho) da RNA em função das épocas do treinamento. O erro de treinamento, avaliado ao final de cada época do algoritmo de treinamento, de acordo com a equação 6, apresenta um comportamento exponencial decrescente, indicando a convergência do algoritmo de treinamento. O erro de aprendizado é avaliado de forma semelhante, de acordo com a equação 7, com os padrões do conjunto de validação. O erro de aprendizagem com menor valor corresponde à época de treinamento com a melhor

5 generalização pela RNA. A partir desta época, o treinamento começa a especializar a RNA na identificação dos padrões do conjunto de treinamento, iniciando a perda da generalização e aumentando o erro para os padrões do conjunto de validação. Observa-se, na figura 6, que a melhor generalização para este treinamento da RNA ocorreu na época 13, com um erro mínimo de aprendizagem de,138. Para a avaliação do classificador neural fazse o levantamento dos gráficos de sensibilidade e especificidade em função do limiar de decisão do classificador e da época de treinamento. A figura 7 apresenta gráficos de sensibilidade e especificidade em diferentes épocas de treinamento: durante a aprendizagem (época 31), na melhor aprendizagem/generalização (época 131) e na especialização (época 41). Observa-se um crescimento lento e contínuo no comportamento da sensibilidade, mesmo na fase de especialização da rede neural. Na especificidade observa-se um espalhamento da abrangência com diminuição de valor para limiar de decisão baixo e médio. distribuição, diminuindo o desempenho do classificador. Ambas as distribuições possuem um espalhamento residual que altera o seu comportamento com as épocas de treinamento. Na época 41 devido ao maior espalhamento dos conjuntos de padrões ocorre um aumento da concentração residual para valores baixos de limiar de decisão ( a,2), diminuindo o desempenho do classificador. Figura 8 Estimativas das distribuições de padrões, obtidas com a derivada numérica da sensibilidade e especificidade, para as épocas: e 41 do treinamento. Figura 7 Gráfico de sensibilidade (azul) e especificidade (vermelho) em função do limiar de decisão do classificador, com passo de,2, para as épocas: e 41do treinamento. As estimativas das distribuições de padrões obtidas a partir da derivada numérica das funções da figura 7 são apresentadas na figura 8. Observam-se as duas concentrações dos padrões e seus espalhamentos nas respectivas épocas de treinamento. A medida que o treinamento evolui, a estimativa da distribuição de um dos padrões movimenta-se para limiares de decisão mais elevados, e aumenta-se o espalhamento desta Figura 9 Estimativas da distribuição de padrões, obtidas pelo levantamento do histograma de saída da RNA, para as épocas: e 41 do treinamento.

6 As estimativas das distribuições de padrões obtidas pelo levantamento do histograma na saída da RNA para os padrões de validação são apresentadas na figura 9. Nos histogramas foram definidas faixas de valores para concentração dos padrões, isto justifica as diferenças visuais entre os gráficos da figura 8 e da figura 9. Observam-se comportamentos semelhantes nas estimativas das distribuições de padrões nas duas representações. As curvas ROC para as respectivas épocas de treinamento do classificador neural são apresentadas na figura 1. Da figura 1 para a figura 1 percebe-se um suave aumento da especificidade para valores baixos e médios da sensibilidade. E da figura 1 para a figura 1 observa-se um suave decréscimo da sensibilidade para valores baixos e médios da especificidade. Discussão e Conclusões Observou-se empiricamente que o índice AUC máx ocorre em épocas próximas da época do menor erro de aprendizagem, que corresponde a estratégia da parada antecipada do treinamento da rede neural. Na maioria dos treinamentos foi observado que o índice AUC máx ocorre em épocas posteriores a época de menor erro de aprendizagem. Este comportamento deve-se as diferentes ferramentas e critérios de avaliação entre a rede neural artificial e o classificador neural binário. Ao longo do treinamento foi observado o comportamento das distribuições, que na fase inicial de treinamento da RNA estão quase totalmente superpostas e ocorrendo um afastamento gradativo e um aumento do espalhamento ao longo do treinamento. Referências [1] Medronho RA, Carvalho DM, Bloch KV, Luiz RR, Werneck GL. Epidemiologia, São Paulo, Atheneu; 24. [2] Massad E, Menezes RX, Silveira PSP, Ortega NRS. Métodos Quantitativos em Medicina, Manole; 24. [3] Haykin S. Neural Networks: A Comprehensive Foundation, Prentice Hall; [4] Rojas R. Neural Networks: A Systematic Introduction, Springer; Figura 1 Curvas ROC do classificador para as épocas: e 41 do treinamento. O comportamento do índice AUC ao longo do treinamento é apresentado pela Figura 11, ocorrendo um aumento crescente do índice na fase de aprendizagem, o valor máximo e um decréscimo constante na fase da especialização da RNA. [5] Sovierzoski MA, Argoud FIM, Azevedo FM. Evaluation of ANN Classifiers During Supervised Training with ROC Analysis and Cross Validation. Proceedings of the 1 st International Conference on BioMedical Engineering and Informatics, 28 May 3-31, Sanya. China: p [6] Mazurowski MA, Habas PA, Zurada JM, Lo JY, Baker JA, Tourassi GD. Training neural network classifiers for medical decision making: The effects of imbalanced datasets on classification performance. Neural Networks 28 21: [7] Eberhart RC, Dobbins RW. Neural Network PC Tools: A Practical Guide, USA, Academic Press; 199. Figura 11 Comportamento do índice AUC ao longo do treinamento, com AUC máx =,914 na época 17 de treinamento. [8] Fawcett T. An introduction to ROC analysis. Pattern Recognition Letters 26 27: