Uma Abordagem Genética Para Redes Neurais Convolucionais

Transcrição

1 Uma Abordagem Genética Para Redes Neurais Convolucionais Roberto M. Pinheiro Pereira 1, Lucas Bezerra Maia 1, Polyana Bezerra Da Costa 1, Jordan Boaz Rodrigues 1, Geraldo Braz Junior 1 João D. S. De Almeida, 1 1 Núcleo de Computação Aplicada Universidade Federal do Maranhão (UFMA) Caixa Postal São Luís MA Brasil roberto@nca.ufma.br, lucasmaia1202@gmail.com {jordanboaz14, polyanabcosta}@gmail.com {geraldo.braz, joao.dallyson}@ufma.br Abstract. Convolutional Neural Networks have recently acquired high results on different computer vision tasks. One of the main advantages of CNNs is the ability of using the same architecture to solve more than one problem. However, in order to acquire better results when using the same architecture, inner modifications may be necessary. This paper presents a genetic algorithm which tries to find the best combination of parameters to a CNN architecture and a problem. Resumo. Redes Neurais Convolucionais vêm obtendo resultados inovadores em várias tarefas da visão computacional. Uma das maiores vantagens deste tipo de rede é a possibilidade de utilizar a mesma arquitetura para resolver diversos problemas. Contudo, visando obter resultados melhores, alguns parâmetros podem sofrer alterações. Neste artigo, apresentamos um algoritmo genético para encontrar a melhor combinação de parâmetros para uma rede neural convolucional utilizada no reconhecimento de símbolos de partituras musicais. 1. Introdução Técnicas que utilizam abordagens deep learning vem mostrando resultados antes inimagináveis. Problemas que pouco tempo atrás eram considerados tarefas extremamente difíceis, hoje podem ser resolvidos com acurácias superiores a 95% [He et al. 2015]. Além dos resultados elevados, métodos que utilizam as técnicas de deep learning permitem que, com pequenas adaptações no modelo original, problemas similares ao original sejam resolvidos. Por meio de [He et al. 2015], [Chen et al. 2016] e [Dai et al. 2015] podemos visualizar o uso da mesma rede neural convolucional, sofrendo pequenas alterações, em tarefas distintas. Outro exemplo é a utilização das arquiteturas AlexLeNet [Krizhevsky et al. 2012] e GoogLeNet [Szegedy et al. 2015] que foram, originalmente, projetadas para a competição Imagenet e, em [Pereira et al. 2016b], é utilizada na análise de lesões mamarias. Outras aplicações de arquiteturas desse tipo podem ser encontradas em [Hafemann 2014], onde utiliza-se redes neurais convolucionais, dentre outras, na classificação de áudios e em [Lo et al. 1995] na detecção de nódulos pulmonares.

2 Ainda, uma rede neural convolucional pode sofrer alterações internas. Para isso, basta que alteremos alguns parâmetros das camadas da rede. Dependendo da combinação de parâmetros escolhida, a rede neural resultante pode apresentar resultados superiores aos da configuração original na solução do novo problema. A contribuição deste artigo consiste em propôr uma metodologia baseada em técnicas de algoritmos evolutivos para encontrar a melhor combinação de parâmetros de uma arquitetura de rede neural convolucional. Como método de avaliação utilizamos a arquitetura da rede neural LeNet aplicada sobre a base de dados HOMUS. 2. Metodologia A metodologia proposta é apresentada na Figura 1 e consiste de três etapas: escolha da arquitetura CNN, otimização de parâmetros e resultados. Cada uma destas etapas estão descritas nas seções a seguir. Figura 1. Metodologia proposta Base de Dados Este trabalho foi conduzido sobre a base de dados HOMUS [Calvo-Zaragoza and Oncina 2014]. A mesma consiste de amostras de notas musicas manuscritas por 100 músicos, cada músico escreveu o símbolo baseado no seu estilo próprio. As amostras estão divididas em 32 classes diferentes, cada uma representando uma nota símbolo distinto. As amostras são compostas de seus conjunto de traços, a identificação do autor e a classe a qual o símbolo representa. Para que pudêssemos dar continuidade com a metodologia, foi necessário gerar imagens baseado nas amostras da base de dados. Sendo assim, para cada amostra, cada traço foi ligado com o próximo do mesmo conjunto. Para gerar os traços foram utilizados 2 pixeis de espessura. A Figura 2 mostra um exemplo do resultado obtido após esta etapa. Figura 2. Exemplo de imagem gerada. No lado esquerdo temos a representação gráfica da amostra. No lado direito temos a imagem obtida após o processamento.

3 2.2. Arquitetura CNN Neste trabalho foi adotada a rede neural convolucional LeNet [LeCun et al. 1998] que implementa as técnicas de deep learning. Essa arquitetura foi utilizada para resolver a base de dados MNIST que é composta de 60 mil imagens de dígitos manuscritos. Dentre as várias arquiteturas existentes atualmente, esta foi escolhida pela semelhança da origem da base de dados HOMUS e a MNIST. A arquitetura LeNet consiste basicamente em 2 camadas de convolução, cada uma seguida de uma camada de pooling. Logo em seguida, temos as camadas de ativação e uma rede neural artificial completamente conectada. A arquitetura utilizada nesse trabalho consiste em uma LeNet e pode ser visualizada na Figura 3. Figura 3. Implementação da arquitetura LeNet utilizada nesse trabalho Algoritmo Genético Para que possamos compreender melhor esta etapa será subdividida em quatro: geração da população inicial, avaliação, seleção, cruzamento e mutação. Estas etapas estão descritas nas próximas seções População Inicial Em um algoritmo genético, um individuo é representado por um conjunto de genes. Cada um desses genes representa uma característica do individuo e pode ser alterado no processo de mutação e/ou cruzamento. Em especial, neste trabalho, cada individuo representa uma rede neural convolucional e cada gene seus parâmetros. A população inicial possui 18 indivíduos gerados aleatoriamente. Para cada convolução, temos como parâmetro a quantidade de filtros que pode variar de 4 até 56 e o tamanho do kernel que por sua vez pode ser 2, 3, 5 ou 7. No caso das camadas de pooling temos somente o tamanho do kernel que possui o mesmo conjunto finito do kernel da camada de convolução. Para as camadas de ativação temos um conjunto extenso de possibilidades. Seguindo [Gal 2015] para as camadas de dropout os valores permitidos se encontram entre 0,3 e 0,7. Por fim, temos a quantidade de neurônios da camada intermediária da rede neural artificial que foi definido como um valor entre 28 e Avaliação A avaliação de cada indivíduo consiste em treinar a rede representada pelo individuo e testar o modelo obtido. Para todas as redes utilizou-se a função de custo logartimo multiclasse, também chamada de categorical crossentropy, e o otimizador adadelta As redes foram treinadas sob o mesmo numero de iterações.

4 Durante o treino, foram reservados 20% das imagens da base de dados para teste, 60% para treino e os 20% restantes para validação. Todas as separações treino/teste/validação foram realizadas de maneira aleatória Seleção Utilizou-se a abordagem da roleta na seleção dos indivíduos. A quantidade de indivíduos é fixa, isso significa que a roleta simplesmente ordena os indivíduos em uma lista de prioridade que será utilizada durante o processo de cruzamento e de mutação explicados a seguir Cruzamento O cruzamento é realizado com uma taxa de 50% para cada par individuo. Caso um par seja selecionado para realizar o cruzamento, é realizado um cruzamento uniforme demostrado na Figura 4. Só sofre recombinação os genes que resultam em redes neurais convolucionais válidas, ou seja, que permitam processar um volume de entrada em um volume de saída por meio de operações de convolução e pooling. O cruzamento resulta em dois novos indivíduos. Figura 4. Cruzamento realizado entre dois indivíduos selecionados, um representado pela cor verde e outro pela cor azul Mutação O processo de mutação é realizado com uma taxa de 5%. Quando um individuo é selecionado, então cada gene deste indivíduo está sujeito a uma taxa de 30% sofrer uma mutação. A mutação consiste em escolher outro gene da mesma categoria do gene que sofre a mutação, ou seja, se o gene da primeira convolução sofrer mutação, este deve ser substituído por outro gene que represente uma convolução. 3. Resultados Os resultados apresentados nessa Seção seguem a metodologia proposta na Seção 2. O algoritmo genético foi executado por 20 gerações com 18 indivíduos. Os resultados obtidos representam a média de 5 execuções da metodologia proposta por esse trabalho. A Figura 5 mostra a média dos resultados obtidos quando a rede neural foi executada por 10 e 100 iterações. O valor médio das iterações mostra como o método seleciona bons genes para serem levados para as próximas gerações. Temos ainda o valor máximo obtido por meio do método, esse valor representa o valor dos melhores elementos de uma

5 Figura 5. O gráfico da esquerda representa a média de 5 execuções da metodologia proposta utilizando 18 indivíduos, 20 gerações e treinando a LeNet por 10 épocas. O gráfico da direita representa uma única execução algoritmo genético onde a rede é treinada por 100 épocas. dada geração. O valor mínimo (representado em azul), é representado por uma curva polinomial de tendencia. O melhor resultado obtido com 10 iterações possui acurácia de 74,24%. Na primeira convolução, a rede possui 41 filtros e kernel de tamanho 3 e na segunda camada do mesmo tipo, possui 33 filtros e kernel de tamanho 7. Já nas camadas de pooling, os kernels possuem tamanho 2 e 1. Os valores de dropout foram de e Nas camadas de ativação foram utilizadas as funções tangente hiperbólica e sigmóide. Por fim, na camada intermediária da rede neural artificial fez-se uso de 126 neurônio. Com configurações similares, o melhor resultado encontrado com 100 iterações possui acurácia de 81.80%. Na primeira convolução, a rede possui 39 filtros e kernel de tamanho 5 e na segunda camada do mesmo tipo, possui 20 filtros e kernel de tamanho 7. Já nas camadas de pooling, os kernels possuem tamanho 1 e 2. Os valores de dropout foram de e Nas camadas de ativação foram utilizadas as funções tangente hiperbólica e sigmoide. Por fim, na camada intermediada da rede neural artificial fez-se uso de 91 neurônio. [Pereira et al. 2016a] aplicam diferentes arquiteturas de rede neural sobre a base de dados HOMUS. Utilizando a rede neural LeNet, os autores obtiveram acurácia máxima de 79,51%. A metodologia aqui proposta obteve uma media de acertos de 81,80%. 4. Conclusão Neste trabalho, foi apresentada a utilização de algoritmos genéticos com redes neurais convolucionais. O algoritmo evolutivo foi utilizado na busca pela melhor combinação de parâmetros para a rede neural convolucional LeNet classificar a base de dados HOMUS. Os resultados foram obtidos sobre uma média 5 de execuções da metodologia proposta. Ainda, foram realizadas duas outras execuções alterando a quantidade de gerações do algoritmo genético e a quantidade de épocas da rede neural. Os melhores resultados obtidos para 10 épocas tiveram acurácia de 74.24% e para 100 épocas o resultado obtido foi de 81.82%. Como vimos, estes resultados foram melhores do que os obtidos pelos autores de [Pereira et al. 2016a] que utilizando a arquitetura

6 LeNet obtiveram uma acurácia máxima de 79.51%. Os resultados utilizando algoritmos evolutivos foram promissores. Os autores deste artigo acreditam que o método ainda pode ser aprimorado. Outros métodos evolutivos têm mostrado resultados eficientes em buscas. Como trabalhos futuros propomos a utilização de algoritmos genéticos para alterar tanto os parâmetros da rede neural quanto encontrar uma arquitetura arquitetura que seja ótima ou próximo do ótimo de um problema. Referências Calvo-Zaragoza, J. and Oncina, J. (2014). Recognition of pen-based music notation: the homus dataset. In nd International Conference on Pattern Recognition (ICPR), pages IEEE. Chen, H., Dou, Q., Yu, L., and Heng, P.-A. (2016). Voxresnet: Deep voxelwise residual networks for volumetric brain segmentation. Dai, J., He, K., and Sun, J. (2015). Instance-aware semantic segmentation via multi-task network cascades. Gal, Y. (2015). networks. A theoretically grounded application of dropout in recurrent neural Hafemann, L. G. (2014). An analysis of deep neural networks for texture classification. He, K., Zhang, X., Ren, S., and Sun, J. (2015). Deep residual learning for image recognition. Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11): Lo, S.-C., Lou, S.-L., Lin, J.-S., Freedman, M. T., Chien, M. V., and Mun, S. K. (1995). Artificial convolution neural network techniques and applications for lung nodule detection. IEEE Transactions on Medical Imaging, 14(4): Pereira, R. M., Matos, C. E., Braz, G., Almeida, J., and Paiva, A. (2016a). A deep approach for handwritten musical symbols recognition. WebMedia - 22 Simpósio Brasileiro de Multimídia. In Press. Pereira, R. M., Matos, C. E., Diniz, J. O., Junior, G. B., De Almeida, J. D., Silva, A. C., and de Paiva, A. C. (2016b). Abordagem deep learning para classificaç ao de lesoes mamarias. WIM - XVI Workshop de Informática Médica, pages Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V., and Rabinovich, A. (2015). Going deeper with convolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1 9.