Um Estudo sobre Diferente Tipos de Funções de Custo Para Redes Neurais Convolucionais

Transcrição

1 Um Estudo sobre Diferente Tipos de Funções de Custo Para Redes Neurais Convolucionais Roberto M. Pinheiro Pereira, Lucas Bezerra Maia, Thalles Alencar Silva, Alexandre César P. Pessoa, Geraldo Braz Junior Núcleo de Computação Aplicada Universidade Federal do Maranhão (UFMA) Caixa Postal São Luís MA Brasil Abstract. Different convolutional neural network architectures have been proposed. Most of them have acquired small error rates among different datasets. Meanwhile, different regression methods and the most variant cost functions, with mathematical endorsement, are being suggested. This paper analises different cost functions applied on convolutional neural networks and proposes four different approaches relating error rate and different statistic metrics: specificity, sensibility and accuracy. Resumo. Diferente arquiteturas de redes neurais convolucionais têm sido propostas ao longo do tempo. A maioria tem obtido pequenas taxas de erro em diferente base de dados. Ao mesmo tempo, diferente métodos de regressão e as mais diversas funções de custo, com embasamento matemático, são montadas. O objetivo desse artigo é analisar diferentes funções de custo aplicadas sobre redes neurais convolucionais e propor quatro abordagens diferentes que relacionam o erro calculado com diferente métricas estatísticas: especificidade, sensibilidade e acurácia.. Introdução As Redes Neurais Convolucionais (CNN) tiveram seu primeiro sucesso na década de 990 quando Yan Lecun, por meio da rede neural LeNet [LeCun et al. 998] obteve uma acurácia acima de 90% na base de dados MNIST. Contudo, foi somente por volta de 2004, devido aos avanços em poder computacional e de memória dos computadores atuais que CNNs se tornaram capaz de resolver problemas do mundo real. Em áreas relacionadas à visão computacional, as redes neurais artificiais têm obtido resultados que antes eram inimagináveis. Nas edições mais recentes do concurso Imagenet LSVRC os vencedores tem inovado a cada ano com diversas arquiteturas CNN. Durante a edição LSVRC-200 a rede neural AlexNet [Krizhevsky et al. 202] obteve os melhores resultados com erros de 7% na categoria de classificação top-5. Já em LSVRC- 204 a GoogLeNet [Szegedy et al. 205] obteve erro de 6.7% na mesma categoria. Mais recentemente as redes neurais residuais obtiveram uma taxa de erro de 3.57% na base

2 de dados Imagenet, ficando em primeiro lugar na competição de classificação ILSVRC Ainda, em [Hafemann 204], dentre outras aplicações, utilizam-se redes neurais convolucionais na classificação de áudios. Já [Lo et al. 995] utiliza a técnica na detecção de nódulos pulmonares e em [Pereira et al. 206] na análise de lesões mamarias, obtendo resultados de acurácia satisfatórios. Contudo, em áreas como a análise de imagens médicas, a quantidade de acertos de um modelo não é uma medida satisfatória para considerar o modelo bom. A quantidade de falso positivo e falso negativo deve ser minima. Este trabalho tem como objetivo apresentar um estudo sobre diferentes funções de custo utilizadas em Redes Neurais Convolucionais. Sua contribuição consiste em tentar encontrar uma função que diminua as taxas de falso positivo e falso negativo. 2. Redes Neuraus Convolucionais Inspirado no córtex visual de animais [Hubel and Wiesel 968], redes neurais convolucionais (CNNs) continuamente subdividem imagens com o objetivo de extrair características das mesmas. Uma rede neural convolucional realiza o aprendizado por meio dos métodos feedfoward e backpropragation [Rumelhart et al. 988]. Geralmente, existem três camadas distintas em uma CNN: convolução, pooling e uma rede neural artificial completamente conectada. Camadas de convolução podem ser entendidas como conjuntos de filtros a serem aprendidos representados em forma de matrizes de ativação. Cada filtro é aprendido de uma parte diferente da imagem e, então, utilizado como extrator de características resultando em um mapa de ativação daquela característica. Geralmente, camadas de convolução vêm seguidas de uma camada de subamostragem, também chamada de camada de pooling. Camadas desse tipo têm como objetivo representar estatisticamente a camada anterior. Utilizando funções tais como máximo e média a quantidade de dados é significantemente reduzida sem perdas significativas. Camadas de pooling geram filtros mais confiáveis e ajudam a prevenir overfitting. Por último, as camadas complementante conectadas geralmente estão no topo das redes neurais convolucionais classificando as características encontradas em classes. Neste ponto, também se encontram as funções de custo que têm como objetivo representar o erro entre o valor esperado e a classificação dada pela rede neural. O erro encontrado é utilizado no processo de retro-propagação e, com o auxilo de funções de otimização, no ajuste dos pesos da rede neural convolucional. 2.. Métricas Importantes Visando reduzir a taxa de falsos positivos, algumas métricas estatísticas foram utilizadas, elas são: Sensibilidade (Se), Especificidade (Es) e Precisão (Pr). Sensibilidade é definida como a capacidade de acertar amostras da mesma classe, ou seja, corresponde a taxa de verdadeiro positivo e pode ser definido por: Se = T p T p + F n ()

3 onde T p representa a taxa de verdadeiro positivo, ou seja, amostras corretamente classificados. F n representa, no teste de hipótese [Schlotzhauer 2007], erros do tipo I. A Equação 2 pode ser interpretada como a taxa de elementos que foram corretamente rejeitados. Es = T n T n + F p (2) T n representa a quantidade de elementos verdadeiros negativos e F p o total de casos de erro tipo II. A precisão mostra o quanto o grau de variabilidade no resultado, assim, quanto maior a precisão maior é o grau de concordância dos resultados. P e = T p T p + F p (3) A Equação 3 nos mostra como calcular o valor da precisão baseado em T p e F p. 3. Metodologia A metodologia proposta é apresentada na Figura e consiste de três etapas: aquisição de imagens, treino, teste e validação de resultados. Cada uma destas etapas estão descritas nas seções a seguir. Figura. Metodologia proposta. 3.. Base de Dados e Geração de Imagens Este trabalho foi conduzido sobre a base de dados HOMUS [Calvo-Zaragoza and Oncina 204]. A base consiste de amostras de notas musicais manuscritas por 00 músicos, cada músico escreveu o símbolo baseado no seu estilo próprio. As amostras estão divididas em 32 classes diferentes, cada uma representando uma nota símbolo distinto. As amostras são compostas do seus conjuntos de traços, a identificação do autor e a classe a qual o símbolo representa. Para que pudéssemos dar continuidade com a metodologia, foi necessário A partir destas amostras, foram geradas imagens binarias. Para cada amostra, cada traço foi ligado com o próximo do mesmo conjunto. Para gerar os traços foram utilizados 2 pixeis de espessura. A Figura 2 mostra um exemplo do resultado obtido após esta etapa Treino e Teste Neste trabalho, foi utilizado a rede neural LeNet [LeCun et al. 998]. Após a etapa de aquisição das imagens, a base de dados foi dividida aleatoriamente em três. O subconjunto de treino ficou com 60% das imagens, para a validação foram reservado 20% do conjunto total e o restante foi destinado à fase de teste. Todas as redes foram treinadas por 00

4 épocas com os conjuntos de treino e validação e, então, tiveram seu modelo avaliados com o conjunto de teste. Ao todo, oito funções de custo foram utilizadas nesse trabalho. Quatro delas são bem conhecidas: Erro Quadrático Médio, Poisson, Divergência de Kullback-Leibler e a Função de Custo Logaritmo Multi-Classe, também chamada de Categorical Crossentropy. Essas funções têm como principal objetivo aproximar o valor classificado com o valor esperado. As demais procuram relacionar diretamente as funções de especificidade, sensibilidade e precisão com o erro obtido. Sendo assim, as funções de custo foram geradas calculando o erro gerado pela função de custo Categorical Crossentropy e dividindo esse erro pelas métricas estatísticas. O resultado foram as equações 4, 5, 6 e 7. loss sp = loss se = loss pr = C C C Cc= Sp(Q, P, c) Cc= Se(Q, P, c) Cc= P r(q, P, c) (4) (5) (6) loss mix = 4 C Cc= Acc(Q, P, c) + Sp(Q, P, c) + 2 Se(Q, P, c) (7) onde representa o custo calculado pela função categorical crossentropy sobre a predição P dos elementos em Q. Ainda, as funções Acc(Q, P, c), Sp(Q, P, c), Se(Q, P, c) e P r(q, P, c) representam, respectivamente, a acurácia, especificidade, sensibilidade, e precisão da classe c. Os resultados encontrados utilizando essas funções, são discutidos na Seção seguinte. 4. Resultados Os resultados discutidos nessa seção foram encontrados sobre a média de 5 execuções da metodologia proposta na Seção 3. As Figuras 3 a 5 mostram as taxas de erro obtidas utilizando-se diferentes funções de custo. A função de custo baseada na sensibilidade Figura 2. Exemplo de imagem gerada. No lado esquerdo temos a representação gráfica da amostra. No lado direito temos a imagem obtida após o processamento.

5 Figura 3. Em verde, temos a taxa de erro da precisão (em %) das funções de custo analisadas. Em azul, temos a taxa de erro das sensibilidade do modelo sobre o conjunto de teste. (vide Equação 4) obteve as menores taxas de erros entre todas as métricas estatísticas estudadas. Todas as funções de custo propostas mostraram uma melhoria os resultados. Utilizando a função de custo baseada na sensibilidade, os erros reduziram cerca de 4% do valor do erro utilizando a função básica cross entropy. O mesmo pode ser observado com as outras funções propostas que obtiveram uma melhoria entre 2% e 2,5% em relação a sua função primaria. Figura 4. Taxa de erro de especificidade das diversas funções de custo analisadas. Dentre as funções de custo estudadas, a que obteve pior resultado foi a categorical crossentropy. Esta apresentou as taxas de erro mais elevados. Já a que obteve pior resultados dentre as propostas foi a baseada na especificidade (vide Equação 4) obtendo o segundo pior resultados em todas as estatísticas analisadas. Figura 5. Taxa de erro de acurácia das diversas funções de custo analisadas.

6 Por fim, o melhor resultado obtido com o uso da função de custo baseada na sensibilidade com taxas de erro de 6.408% de acurácia, 0.533% de especificidade, 4.364% de sensibilidade e 4.78% de precisão. 5. Conclusão Redes Neurais Convolucionais, recentemente, vêm revolucionando diversos campos da visão computacional. Altas taxas de acurácia e facilidade de adaptação são características marcantes nas diversas arquiteturas CNN propostas até hoje. No entanto, como vimos, uma escolha difícil a ser feita é a melhor função de custo para um determinado problema quando objetivamos melhorar outras métricas estatísticas que vão além da taxa de acerto. Neste trabalho, foram propostas quatro funções de custo baseadas em diferentes métricas estatísticas e na taxa de erro da função cross entropy. O melhor resultado foi obtido com a função sensibilidade que superou todas as outras funções de custo estudada nesse trabalho. Os resultados mostram um aprimoramento de cerca de 4% relativo ao erro obtido utilizando-se somente o cross entropy como função de erro. Os resultados obtidos se mostram promissores. Como trabalhos futuros pretendemos propor funções de custo mais sofisticadas e realizar mais testes baseando-se em diferentes funções, como a distribuição de Poisson. Referências Calvo-Zaragoza, J. and Oncina, J. (204). Recognition of pen-based music notation: the homus dataset. In nd International Conference on Pattern Recognition (ICPR), pages IEEE. Hafemann, L. G. (204). An analysis of deep neural networks for texture classification. Hubel, D. H. and Wiesel, T. N. (968). Receptive fields and functional architecture of monkey striate cortex. The Journal of physiology, 95(): Krizhevsky, A., Sutskever, I., and Hinton, G. E. (202). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. (998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(): Lo, S.-C., Lou, S.-L., Lin, J.-S., Freedman, M. T., Chien, M. V., and Mun, S. K. (995). Artificial convolution neural network techniques and applications for lung nodule detection. IEEE Transactions on Medical Imaging, 4(4):7 78. Pereira, R. M., Matos, C. E., Diniz, J. O., Junior, G. B., De Almeida, J. D., Silva, A. C., and de Paiva, A. C. (206). Abordagem deep learning para classificaç ao de lesoes mamarias. WIM - XVI Workshop de Informática Médica, pages Rumelhart, D. E., Hinton, G. E., and Williams, R. J. (988). Learning representations by back-propagating errors. Cognitive modeling, 5(3):. Schlotzhauer, S. D. (2007). Elementary statistics using JMP. SAS Institute. Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V., and Rabinovich, A. (205). Going deeper with convolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9.