RECONHECIMENTO DE PRODUTOS POR IMAGEM UTILIZANDO PALAVRAS VISUAIS E REDES NEURAIS CONVOLUCIONAIS GUILHERME DEFREITAS JURASZEK

Transcrição

1 UNIVERSIDADE DO ESTADO DE SANTA CATARINA UDESC CENTRO DE CIÊNCIAS TECNOLÓGICAS CCT CURSO DE MESTRADO EM COMPUTAÇÃO APLICADA DISSERTAÇÃO DE MESTRADO RECONHECIMENTO DE PRODUTOS POR IMAGEM UTILIZANDO PALAVRAS VISUAIS E REDES NEURAIS CONVOLUCIONAIS GUILHERME DEFREITAS JURASZEK JOINVILLE, 2014

2 GUILHERME DEFREITAS JURASZEK RECONHECIMENTO DE PRODUTOS POR IMAGEM UTILIZANDO PALAVRAS VISUAIS E REDES NEURAIS CONVOLUCIONAIS Dissertação apresentada ao Programa de Pós-Graduação em Computação Aplicada da Universidade do Estado de Santa Catarina, como requisito parcial para obtenção do grau de Mestre em Computação Aplicada. Orientador: Alexandre Gonçalves Silva Coorientador: André Tavares da Silva JOINVILLE, SC 2014

3 J95r Juraszek, Guilherme Defreitas Reconhecimento de produtos por imagem utilizando palavras visuais e redes neurais convolucionais / Guilherme Defreitas Juraszek p. : il. ; 21 cm Orientador: Alexandre Gonçalves Silva Coorientador: André Tavares da Silva Bibliografia: p. Dissertação (mestrado) Universidade do Estado de Santa Catarina, Centro de Ciências Tecnológicas, Programa de Pós-Graduação em Computação Aplicada, Joinville, Aprendizado de máquina. 2. Máquina de vetor de suporte 3. Redes neurais convolucionais. 4. Visão computacional. I. Silva, Alexandre Gonçalves. II. Silva, André Tavares da. III. Universidade do Estado de Santa Catarina. Programa de Pós-Graduação em Computação Aplicada. IV. Título. CDD: ed.

4

5 Este trabalho é dedicado a todas as pessoas de mente inquieta e curiosa.

6 Agradecimentos Ao Professor Dr. Alexandre Gonçalves Silva pela orientação e todas as contribuições ao trabalho. Ao Professor Dr. André Tavares da Silva pela coorientação e auxílios prestados durante o desenvolvimento. À CAPES, pelo auxílio financeiro durante a realização do trabalho. À UDESC-PPGCA, pelas oportunidades que o programa traz ao mestrando na aquisição e geração de conhecimento. Aos professores e colegas do PPGCA-UDESC, pelos auxílios prestados e amizade durante esses anos de convivência no campus.

7

8 RESUMO JURASZEK, Guilherme Defreitas. Reconhecimento de produtos por imagem utilizando palavras visuais e redes neurais convolucionais p. Dissertação (Mestrado em Computação Aplicada - Área: Processamento Gráfico (Graphics)). Universidade do Estado de Santa Catarina. Programa de Pós-Graduação em Computação Aplicada. Joinville, A popularização de equipamentos como câmeras e celulares equipados com câmeras resultou em um grande volume de informações no formato de imagens e vídeos disponibilizadas na internet. O crescimento no volume de informação digital disponível nestes formatos demanda a criação de novas soluções de buscas baseadas não apenas em texto, mas capazes de extraírem informações relevantes diretamente desses formatos de mídia. Neste trabalho são comparadas as técnicas de reconhecimento utilizando palavras visuais por meio de descritores artificiais Bag of Visual Words ou Bag of Features (BOVW), reconhecimento utilizando redes neurais convolucionais (CNN) e reconhecimento usando descritores naturais obtidos através de uma rede neural convolucional previamente treinada em uma base distinta. As técnicas são aplicadas no problema de reconhecimento de produtos a partir da análise de imagens. Tais técnicas podem ser aplicadas em uma ampla gama de sistemas como reconhecimento de produtos utilizando dispositivos móveis, obtenção de informações de produtos visualizados utilizando um óculos de realidade aumentada, reconhecimento de produtos em vídeos, entre outros. A técnica BOVW é demonstrada com base nos descritores artificiais SIFT, SURF e MSER com extração de características densa e por meio de pontos de interesse. São estudados os algoritmos KMeans e Floresta de Caminhos Ótimos não Supervisionada (OPF- U) na etapa de agrupamento e Máquinas de Vetor de Suporte (SVM) e Floresta de Caminhos Ótimos Supervisionada (OPF-S) na etapa de classificação. A segunda técnica utiliza uma rede neural convolucional (CNN) de três camadas. Na terceira técnica é utilizada uma CNN, previamente treinada na base de imagens ImageNet, de cinco camadas convolucionais. A CNN previamente treinada é utilizada para a extração de um vetor de características do novo conjunto de imagens a ser analisado. Este vetor atua como um descritor natural e é classificado utilizando SVM e OPF-S. São avaliadas a acurácia, tempo de processamento total, tempo de processamento para agrupamento (KMeans e OPF-U), tempo de processamento para classificação das técnicas nas

9 bases de imagens Caltech 101 e em uma base de imagens de produtos criada pelo autor (RecogProd). São avaliados ainda como o tamanho da imagens, quantidade de categorias e escolha dos parâmetros influenciam na acurácia do resultado. Os resultados mostram que a utilização de uma CNN (Overfeat), previamente treinada em uma grande base de imagens, como um descritor natural para extração de um vetor de características e treinamento de um classificador SVM, apresentou a melhor acurácia com 0,855 na base Caltech101 e 0,905 na base criada, RecogProd, em uma escala de 0 a 1. A CNN criada e treinada pelo autor apresentou o segundo melhor resultado com 0,710 utilizando o espaço de cores RGB na RecogProd e 0,540 utilizando o espaço de cores YUV na base Caltech101. A CNN treinada com imagens utilizando os espaço de cores RGB e YUV apresentaram acurácias muito próximas em ambas as bases de treinamento porém, o treinamento utilizando YUV foi muito mais rápido. A técnica BOVW apresentou uma acurácia inferior à CNN como descritor natural e a CNN em ambas as bases testadas. Nos experimentos, com diversos tamanhos de categorias (5, 10, 15 e 36) da RecogProd, a CNN como descritor natural apresentou novamente a melhor acurácia. Os resultados mostram ainda que, conforme o número de categorias é aumentado, a CNN como descritor natural apresentou uma queda menor na acurácia em relação às demais técnicas avaliadas. Foi observado ainda que em uma base com 5 categorias a CNN como descritor natural alcançou a acurácia de 1,0, sendo capaz de classificar todos os exemplos corretamente. Palavras-chaves: Aprendizado de máquina. Máquina de Vetor de Suporte. Redes Neurais Convolucionais. Floresta de Caminhos Ótimos. Visão Computacional.

10 ABSTRACT The popularization of electronic devices like cameras and smartphones resulted in an increasing volume of images and videos available on the internet. This scenario allowed researchers to explore new search and retrieval techniques to use, not only the wide available text, but also extract information directly from images and videos. In this work three image recognition techniques have been compared, the Bag of Features or Bag of Visual Words (BOVW) using artificial descriptors, Convolutional Neural Networks (CNN) and CNN as a natural descriptor where the descriptors are obtained from a large pre-trained CNN in a di erent dataset. The techniques are applied in the image recognition problem using image analysis. Those techniques can be applied in products search applications using smartphones, smart glasses, products recognition in videos and others. The BOVW technique is demonstrated using the artificial descriptors SIFT, SURF and MSER, with dense and interest points based extraction. The algorithms KMeans and unsupervised Optimum-Path Forest (OPF-U) are used for clustering and supervised Optimum-Path Forest (OPF-S) and Support Vector Machines (SVM) are used for classification. The second technique uses a convolutional neural network (CNN) with three convolutional layers. The third technique uses the Overfeat, a large pre-trained CNN in the ImageNet dataset, for extraction of a characteristic vector of the new image dataset. This characteristic vector act as a natural descriptor and is then classified using OPF-S and SVM. The accuracy, total time of processing, time for clustering (KMeans and OPF-U), time for classification (OPF-S and SVM) are evaluated in the Caltech 101 dataset and in a dataset created by the author with images of products (Recog- Prod). It is evaluated how image size, category size and overall parameters a ect the accuracy of the studied techniques. The results showed that the CNN (Overfeat), pre-trained in a di erent large dataset, used for extraction of the natural descriptor of the new dataset and trained with SVM achieved the best accuracy with in the Caltech 101 dataset and in the authors dataset. The CNN created and trained entirely by the author showed the second best result with the accuracy of 0.710, using the RGB color space in the authors dataset and using the YUV color space in the Caltech 101 dataset. Both CNN, using RGB and YUV, showed similar accuracies but the CNN using YUV images took significant less time to be trained. The BOVW technique resulted in a accuracy lower than the preview techniques in both tested datasets. In the experiments using the author s dataset with di erent

11 category sizes (5, 10, 15, 36) the CNN as a natural descriptor resulted in the best accuracy among the other tested techniques. The CNN as a natural descriptor is also the most robust, since as the number of the categories is increased, and resulted in a lower accuracy decay among the others. In the experiments with a dataset with 5 categories the CNN as natural descriptor was able to recognize all the images correctly. Key-words: Machine Learning. Support Vector Machines. Convolutional Neural Networks. Optimum-Path Forest. Computer Vision.

12 Lista de ilustrações Figura 1 Exemplo de diferentes produtos pertencentes a uma mesma categoria (cafeteiras) Figura 2 Exemplo de simplificação utilizando a magnitude e orientação do gradiente extraído em volta do ponto de interesse (LOWE, 2004) Figura 3 Exemplos de regiões máximas detectadas em diferentes escalas (retas epipolares em amarelo). (MATAS et al., 2002) Figura 4 Exemplos de regiões máximas detectadas em diferentes ângulos de captura (MATAS et al., 2002).. 30 Figura 5 Pirâmide de escalas com 5 iterações Figura 6 Comparativo de separação utilizando SVM e RNA. (a) Separação usando SVM (b) Separação usando RNA 32 Figura 7 Exemplo de rede MLP Figura 8 Organização dos campos receptivos em uma CNN.. 37 Figura 9 Compartilhamento dos parâmetros para criação de um mapa de características Figura 10 Rede neural convolucional com dois estágios (LE- CUN; KAVUKCUOGLU; FARABET, 2010) Figura 11 Exemplo de convolução Figura 12 Exemplo de redução utilizando filtro MAX 2 2 e deslocando 2 2 (sem sobreposição) Figura 13 Exemplo de filtros aprendidos na base MNIST (a) sem dropout (b) utilizando Dropout (HINTON et al., 2012)

13 Figura 14 Exemplo de treinamento e classificação utilizando OPF. (a) Grafo completo. (b) Floresta de caminhos ótimos após o treinamento com dois protótipos. A entrada (x,y) corresponde ao custo e ao rótulo atribuído. (c) Exemplo de teste no momento da classificação conectado a todos os nós. (d) Exemplo de teste com atribuição da classe após a classificação (PAPA; FALCãO; SUZUKI, 2009) Figura 15 Extração de descritores de forma densa e baseada em pontos de interesse. (a) Descritores extraídos através de ponto de interesse. (b) Descritores extraídos de forma densa Figura 16 Exemplo ilustrando a localização de descritores em diferentes imagens mas que correspondem a uma mesma característica Figura 17 Divisão da imagem na pirâmide espacial (LAZEB- NIK; SCHMID; PONCE, 2006) Figura 18 Modelo do sistema de reconhecimento utilizando KMeans e OPF-U para agrupamento e SVM e OPF-S para classificação Figura 19 Modelo do algoritmo de reconhecimento CNN Figura 20 Exemplo de treinamento de uma CNN em uma base A Figura 21 Reutilização da CNN pré-treinada para treinamento de uma nova base B Figura 22 Exemplos de imagens de 3 classes da base Caltech Figura 23 Categorias e exemplos e imagens da base RecogProd. 68 Figura 24 Acurácia na base Caltech Figura 25 Acurácia na base RecogProd Figura 26 Kmeans+SVM - Descritores x Tamanho da imagem x Acurácia na base Caltech Figura 27 Kmeans+OPF-S - Descritores x Tamanho da imagem x Acurácia na base Caltech Figura 28 OPF-U+SVM - Descritores x Tamanho da imagem x Acurácia na base Caltech Figura 29 OPF-U+OPF-S - Descritores x Tamanho da imagem x Acurácia na base Caltech Figura 30 Kmeans+SVM - Descritores x Tamanho da imagem x Acurácia na base RecogProd Figura 31 Kmeans+OPF-S - Descritores x Tamanho da imagem x Acurácia na base RecogProd

14 Figura 32 OPF-U+SVM - Descritores Tamanho da imagem Acurácia na base RecogProd Figura 33 OPF-U+OPF-S - Descritores Tamanho da imagem Acurácia na base RecogProd Figura 34 Tempo de treinamento e acurácia da CNN na base Caltech101 utilizando imagens no espaço de cores YUV Figura 35 Tempo de treinamento e acurácia da rede neural convolucional na base Caltech101 utilizando imagens RGB Figura 36 Tempo de treinamento e acurácia da rede neural convolucional na base RecogProd utilizando imagens YUV Figura 37 Tempo de treinamento e acurácia da rede neural convolucional na base RecogProd utilizando imagens RGB Figura 38 Filtros obtidos após o treinamento da rede neural. (a) Filtros da CNN YUV na base Caltech101. (b) Filtros da CNN RGB na base Caltech101. (c) Filtros da CNN YUV na base RecogProd. (d) Filtros da CNN RGB na base RecogProd Figura 39 Imagem utilizada nos exemplos de resultado da convolução na base Caltech Figura 40 Resultado da convolução dos filtros na primeira camada convolucional da CNN YUV (a) e RGB (b) na base Caltech Figura 41 Imagem utilizada nos exemplos de resultado da convolução na base RecogProd Figura 42 Resultado da convolução dos filtros na primeira camada convolucional da CNN YUV (a) e RGB (b) na base RecogProd Figura 43 Acurácia das técnicas estudadas na base RecogProd com 5, 10, 15 e 36 categorias Figura 44 F1 das técnicas estudadas na base RecogProd com 5, 10, 15 e 36 categorias Figura 45 Tempo total de treinamento na base Caltech Figura 46 Tempo total de treinamento na base RecogProd Figura 47 Tempo classificação na base RecogProd com 5, 10, 15 e 36 categorias Figura 48 Tempo total na base RecogProd com 5, 10, 15 e 36 categorias

15 Figura 49 Resultado do tempo de consulta de uma nova imagem na base RecogProd Figura 50 Acurácia na base RecogProd com os tamanhos de dicionários avaliados Figura 51 Acurácia na base Caltech101 com os tamanhos de dicionários avaliados Figura 52 Tempo de treinamento do KMeans nas bases avaliadas.101 Figura 53 Tempo de treinamento do classificador na base RecogProd Figura 54 Tempo de treinamento do classificador na base Caltech Figura 55 Tempo total nas bases Caltech101 e RecogProd

16 Lista de tabelas Tabela 1 Resultados do comparativo entre variações de redes neurais convolucionais (JARRETT; KAVUKCUO- GLU; LECUN, 2009) Tabela 2 Agrupadores e classificadores analisados Tabela 3 Descritores analisados Tabela 4 Arquitetura da rede neural convolucional proposta.. 61 Tabela 5 Arquitetura Overfeat da CNN menor (SERMANET et al., 2013) Tabela 6 Arquitetura Overfeat da CNN maior (SERMANET et al., 2013) Tabela 7 Tamanhos de dicionários utilizados nos experimentos. 70 Tabela 8 Resultados - BOVW KMeans+SVM na base Caltech Tabela 9 Resultados - BOVW KMeans+OPF na base Caltech Tabela 10 Resultados - BOVW OPF-U+OPF-S na base Caltech Tabela 11 Resultados - BOVW OPF-U+SVM na base Caltech Tabela 12 Resultados - CNN na base Caltech Tabela 13 Resultados - Overfeat na base Caltech Tabela 14 Resultados - BOVW KMeans+SVM na base Recog- Prod (36 categorias) Tabela 15 Resultados - BOVW KMeans+OPF-S na base RecogProd (36 categorias) Tabela 16 Resultados - BOVW OPF+SVM na base RecogProd (36 categorias) Tabela 17 Resultados - BOVW OPF+OPF na base RecogProd (36 categorias) Tabela 18 Resultados - CNN na base RecogProd (36 categorias), 77

17 Tabela 19 Resultados - Overfeat na base RecogProd (36 categorias), Tabela 20 Acurácia na base RecogProd com os diversos tamanhos de dicionário avaliados Tabela 21 Acurácia na base Caltech101 com os diversos tamanhos de dicionário avaliados Tabela 22 Tempo de treinamento do agrupador KMeans na base Caltech Tabela 23 Tempo de treinamento do agrupador KMeans na base RecogProd Tabela 24 Tempo de treinamento do classificador na base RecogProd Tabela 25 Tempo de treinamento do classificador na base Caltech Tabela 26 Tempo total de processamento nas bases Caltech101 e na base RecogProd Tabela 27 Parâmetros testados para o OPF-U e OPF-S na base Caltech Tabela 28 Parâmetros testados para o OPF-U e SVM na base Caltech 101, Tabela 29 Parâmetros testados para o OPF-U e OPF-S na base criada Tabela 30 Parâmetros testados para o OPF-U e SVM na base criada, Tabela 31 Parâmetros testados para o OPF-U e OPF-S na base criada com 5 categorias Tabela 32 Parâmetros testados para o OPF-U e SVM na base criada com 5 categorias Tabela 33 Parâmetros testados para o OPF-U e OPF-S na base criada com 10 categorias Tabela 34 Parâmetros testados para o OPF-U e SVM na base criada com 10 categorias Tabela 35 Parâmetros testados para o OPF-U e OPF-S na base criada com 15 categorias Tabela 36 Parâmetros testados para o OPF-U e SVM na base criada com 15 categorias Tabela 37 Parâmetros de execução do programa recog.py

18 Lista de abreviaturas e siglas AI BOVW CBIR CNN ML OPF-S OPF-U RGB SVM YUV Inteligencia Artificial (Artificial Intelligence) Conjunto de Palavras Visuais ou Bag of Visual Words Sistemas de Recuperação de Imagens por Conteúdo (Content-Based Image Retrieval) Rede Neural Convolucional Aprendizado de Máquina (Machine Learning) Floresta de Caminhos Ótimos Supervisionada Floresta de Caminhos Ótimos não Supervisionada Espaço de cor que utiliza, na formação de cores, as componentes Vermelha (Red), Verde (Green) e Azul (Blue) Máquina de Vetor de Suporte (Support Vector Machines) Espaço de cor onde Y representa a luminância e U e V representam a crominância ou cor.

19

20 Lista de símbolos ˆ Derivada parcial Desvio Padrão e Número de Euler Variação

21

22 Sumário 1 INTRODUÇÃO Objetivos Geral Específicos Escopo Resultados Esperados Estrutura do Texto CONCEITOS Scale Invariant Feature Transform (SIFT) Maximally Stable Extremal Regions (MSER) Speed-Up Robust Features (SURF) Support Vector Machines (SVM) Multilayer Perceptron (MLP) Redes Neurais Convolucionais (CNN) Floresta de Caminhos Ótimos (Optimum-path Forest -OPF) KMeans Conjunto de Palavras Visuais (Bag of Visual Words) (BOVW) TRABALHOS RELACIONADOS Algoritmos de estágio único Algoritmos de dois ou mais estágios DESENVOLVIMENTO DA SOLUÇÃO Conjunto de Palavras Visuais Rede Neural Convolucional CNN como Descritor Natural Avaliação Bases de Imagens Caltech Base criada - RecogProd Implementação EXPERIMENTOS, RESULTADOS E DISCUSSÕES Avaliação de melhor acurácia na base Caltech Avaliação de melhor acurácia na RecogProd Melhor descritor artificial na técnica BOVW

23 5.4 Rede Neural Convolucional (CNN) - RGB x YUV Acurácia das técnicas BOVW, CNN e CNN como descritor natural na base RecogProd com 5, 10, 15 e 36 categorias Tempo de processamento geral Tempo de classificação Tempo de consulta de uma nova imagem Tamanho do dicionário de palavras visuais CONSIDERAÇÕES FINAIS Conclusões Trabalhos Futuros Referências APÊNDICE A Apêndice A APÊNDICE B Apêndice B B.1 Instalação B.2 BOVW e CNN como descritor natural B.3 CNN B.4 Ferramentas auxiliares

24 21 1 INTRODUÇÃO A popularização de equipamentos como câmeras e celulares equipados com câmeras resultou em um grande volume de informações no formato de imagens e vídeos disponibilizadas na internet. O crescente volume de dados digitais em forma de imagens e vídeos demanda a criação de novas soluções de buscas baseadas não apenas em texto, mas capazes de extraírem informações relevantes diretamente desses formatos de mídia. O processo de identificação visual de objetos é trivial para os seres humanos, porém extremamente difícil para os computadores. Um objeto tridimensional real pode ser representado através de uma grande quantidade de imagens bidimensionais conforme a sua variação de posição, orientação, tamanho, luz e contexto (PINTO; COX; DICARLO, 2008). Condições adicionais como variações intra-classes, oclusões e deformações geram um número ainda maior de possibilidades, dificultando o reconhecimento. Desenvolver um programa de computador para tratar manualmente todas as combinações possíveis resultaria em um código com uma quantidade inviável de condições. Outra característica dos problemas envolvendo reconhecimento e aprendizagem é a mudança constante das variáveis envolvidas. Um sistema desenvolvido para identificar um determinado objeto pode sofrer uma mudança dos requisitos, sendo necessário identificar outros objetos que não estavam previstos no escopo inicial. Se todas as regras forem explicitamente codificadas, no momento que for necessário reconhecer um novo objeto, novas regras precisam ser escritas explicitamente. Uma das áreas responsáveis por propor novas soluções para problemas com estas características é chamada Aprendizado de Máquina (Machine Learning - ML). A área de ML é uma ramificação de uma área maior conhecida como inteligência artificial (Artificial Intelligence - AI) e é o campo de estudo que proporciona, aos computadores, a habilidade de aprender

25 22 Capítulo 1. INTRODUÇÃO a resolver um determinado problema sem ser explicitamente programado para tal tarefa (SIMON, 2013). Para que a definição anterior faça sentido é necessário também definir o significado de aprender. Um programa de computador aprende através de uma experiência E a respeito de um conjunto de tarefas T mensuráveis por uma métrica P se o seu desempenho na tarefa T, medida pela métrica P melhora com a experiência E (MITCHELL, 1997). Algoritmos de aprendizado de máquina são utilizados amplamente com destaque nas áreas de processamento natural de linguagem, visão computacional e mineração de dados. Este trabalho mostra a utilização de três técnicas de aprendizado de máquina aplicadas ao reconhecimento de imagens, mais especificamente, no reconhecimento de produtos por imagem. A Figura 1 mostra alguns exemplos de produtos correspondentes a uma mesma categoria porém, com características como cor, forma e textura extremamente diferenciadas. Figura 1 Exemplo de diferentes produtos pertencentes a uma mesma categoria (cafeteiras). Fonte: produção do próprio autor. Tais técnicas podem ser aplicadas em uma ampla gama de sis-

26 1.1. Objetivos 23 temas como reconhecimento de produtos utilizando dispositivos móveis como smartphones, obtenção de informações de produtos visualizados utilizando um óculos de realidade aumentada, reconhecimento de produtos em vídeos, entre outros. A primeira técnica de reconhecimento de palavras visuais proposta utiliza os descritores artificiais SIFT, SURF e MSER na extração de características de forma densa e através de pontos de interesse. São estudados os algoritmos KMeans e floresta de caminhos ótimos não supervisionada (OPF-U) na etapa de agrupamento e criação do dicionário de palavras visuais e Máquinas de Vetor de Suporte (SVM) e Floresta de Caminhos Ótimos supervisionada (OPF-S) na etapa de classificação. A segunda técnica utiliza uma rede neural de três camadas convolucionais seguidas de duas camadas totalmente conectadas. A terceira técnica consiste no uso de uma CNN, previamente treinada na base de imagens ImageNet, de cinco camadas convolucionais seguidas de três camadas totalmente conectadas. Um vetor de características é extraído da última camada convolucional para cada imagem da nova base de imagens a ser analisada. Este vetor atua como um descritor natural e é classificado utilizando SVM e OPF-S. 1.1 Objetivos Nas subseções a seguir são descritos o objetivo geral e os objetivos específicos deste trabalho Geral O objetivo deste trabalho é determinar das três técnicas (BOVW, CNN e CNN como descritor natural) e suas variações analisadas é a melhor, para o reconhecimento de produtos por imagem em relação a acurácia, tempo total de processamento, tempo de classificação, variações no tamanho de imagem e variações na quantidade de classes Específicos 1. Identificar qual das três técnicas (BOVW, CNN e CNN como descritor natural) oferece melhor acurácia. 2. Identificar qual das três técnicas oferece menor tempo de processamento para treinamento. 3. Estimar a complexidade algorítmica das três técnicas em bases de diferentes tamanhos.

27 24 Capítulo 1. INTRODUÇÃO 4. Identificar qual o melhor descritor entre SIFT, SURF e MSER na técnica de BOVW. 5. Identificar como o tamanho da imagem influencia na acurácia do reconhecimento. 6. Identificar como a quantidade de imagens e a quantidade de descritores influenciam na acurácia e no tempo de classificação na técnica BOVW. 7. Identificar como o tamanho do dicionário de palavras visuais influencia na acurácia e no tempo de classificação na técnica BOVW. 1.2 Escopo O escopo do trabalho está limitado ao Processamento Gráfico, com o objetivo de efetuar o reconhecimento de uma imagem de acordo com a sua categoria com ênfase no reconhecimento de produtos. Os experimentos realizados utilizam uma base pública (Caltech101 )de trabalhos relacionados e uma base criada pelo autor (RecogProd) utilizando imagens de produtos em sites de comércio eletrônico. As bases de imagens existentes na literatura não possuem o foco em produtos ou possuem um tamanho elevado, incompatível com aos recursos disponíveis para a realização do trabalho. 1.3 Resultados Esperados A avaliação das técnicas resultará em uma base de conhecimento necessária para aplicá-las em cenários onde o tamanho da base é variável em quantidade de imagens e quantidade de categorias. Informações como tempo de processamento são fundamentais para determinar qual é a melhor técnica condizente com o os recursos computacionais disponíveis em diferentes cenários onde um produto comercial poderá ser desenvolvido. A técnica BOVW deve fornecer uma acurácia superior em bases com uma pequena quantidade de imagens e categorias. O treinamento de uma rede neural convolucional com poucos dados pode resultar em overfitting, onde a rede é incapaz de classificar novos exemplos com uma boa acurácia. Em bases de imagens com uma maior quantidade de imagens a CNN deve ser capaz de classificar novas imagens com uma acurácia maior do que a BOVW. A utilização de uma CNN previamente treinada em uma grande base de imagens para a extração de descritores naturais em uma nova base apresenta um grande

28 1.4. Estrutura do Texto 25 desafio. Os resultados dos experimentos poderão ser um indício de que esta técnica pode, ou não, realizar uma transferência de conhecimento, onde os filtros aprendidos em um treinamento anterior são genéricos o suficiente para serem usados na classificação de novas bases de imagens. 1.4 Estrutura do Texto O restante do trabalho está organizado da seguinte forma: o Capítulo 2 descreve as abordagens relacionados à solução proposta; o Capítulo 3 detalha e compara os trabalhos relacionados; o Capítulo 4 descreve as implementações das técnicas de BOVW, CNN e CNN como descritor natural realizadas; o Capítulo 5 descreve os experimentos realizados, os resultados e discussões; e, por fim, no Capítulo 6, são apresentadas as conclusões, contribuições e as propostas para trabalhos futuros.

29

30 27 2 CONCEITOS Neste capítulo são explicados os algoritmos utilizados no desenvolvimento do trabalho. Mais especificamente os descritores SIFT, MSER e SURF, os algoritmos de classificação supervisionados SVM, OPF supervisionado, redes neurais MLP e redes neurais convolucionais e os algoritmos de classificação não supervisionados OPF e KMeans. 2.1 Scale Invariant Feature Transform (SIFT) O algoritmo SIFT consiste em um método para extração de características distintas e invariantes para o reconhecimento de pontos em um objeto em imagens de diferentes ângulos. Os descritores extraídos são invariantes à escala e rotação e possuem uma boa tolerância a ruídos, distorções decorrentes de diferentes perspectivas e mudanças de iluminação (LOWE, 2004). Lowe (2004), ainda descreve uma fórmula para identificação de objetos utilizando um comparativo com um banco de descritores extraídos de outras imagens usando um algoritmo de vizinhos próximos. A implementação do descritor é dividida em duas partes, o detector de pontos de interesse e a representação do ponto de interesse através de um vetor, sendo este considerado o descritor propriamente dito. As etapas de processamento são: Detecção de extremos: Identificação de possíveis pontos de interesse utilizando a diferença de Gaussianas aplicadas a diversas escalas da imagem. Este procedimento permite encontrar pontos de interesse invariantes à escala e à orientação. Localização de pontos chave: Para cada candidato encontrado na etapa anterior são determinadas a localização e escala bem como são calculadas métricas de estabilidade, resultando na escolha dos pontos mais estáveis.

31 28 Capítulo 2. CONCEITOS Atribuição de orientação: Uma ou mais orientações são atribuídas a cada ponto chave escolhido de acordo com o gradiente local da imagem. Extração do descritor: Os gradientes locais ao redor do ponto de interesse são mensurados e uma representação simplificada é extraída contendo um vetor de 128 posições. A Figura 2 mostra uma representação simplificada de um descritor de 2 2 obtido através de sub regiões de tamanho 4 4. No algoritmo proposto no artigo é utilizado um descritor de tamanho 4 4 obtido através de uma região de tamanho com 8 orientações possíveis, resultando em 128 posições. Figura 2 Exemplo de simplificação utilizando a magnitude e orientação do gradiente extraído em volta do ponto de interesse (LOWE, 2004). 2.2 Maximally Stable Extremal Regions (MSER) O algoritmo (MSER) proposto por Matas et al. (MATAS et al., 2002) consiste em um método robusto diante de mudanças de perspectiva, originalmente utilizado para detecção de características e alinhamento de imagens estéreo. Para a realização de um bom alinhamento de uma cena vista de dois ângulos diferentes, possivelmente utilizando duas câmeras diferentes, é necessário identificar quais pontos da imagem contêm as características que são semelhantes entre elas (pontos homólogos). Dada a grande quantidade de variações possíveis, desde o ângulo no qual a imagem foi obtida até distorções causadas pela lente da câmera utilizada, funções baseadas apenas em translações e rotações

32 2.3. Speed-Up Robust Features (SURF) 29 de um formato fixo, como a distância Euclidiana, normalmente não resultam em uma boa acurácia. O algoritmo localiza pontos extremos na imagem buscando identificar regiões conexas a partir da intensidade do brilho dos pixels. O MSER aplica limiares de diferentes valores e detecta regiões de bordas com grande variação de intensidade. De acordo com o autor, o conceito proposto pelo MSER pode ser explicado informalmente imaginando uma imagem em tons de cinza I e um conjunto de limiares t onde o conjunto corresponde a todos os limiares possíveis para a imagem I. Dada a imagem e um limiar, todos os pixels abaixo do limiar são considerados brancos e todos os pixels acima do limiar são considerados pretos. Ao observar sequencialmente as imagens I t a primeira imagem será totalmente preta, seguida de uma imagem com alguns pontos pretos que crescem para cada imagem conforme o limiar é aumentado. Por fim, a imagem será completamente branca. O conjunto de todos os componentes conectados em todos os limiares forma o conjunto de regiões máxima. A junção de dois componentes conectados é interpretada como o término do componente menor e a inclusão dos seus pixels no componente maior. Após uma avaliação de estabilidade, apenas regiões que aparecem em uma grande quantidade de diferentes limiares são selecionadas. O algoritmo MSER apresenta semelhanças com o algoritmo watershed (BEUCHER; LANTUéJOUL, 1979), porém no watershed o objetivo é encontrar os limiares onde diferentes componentes conexos se juntam, e no MSER o objetivo é encontrar um conjunto de limiares onde um grupo de componentes conexos permanece estável (sem grandes mudanças). A detecção das regiões máximas ocorre em diferentes escalas. O algoritmo MSER realiza apenas a detecção dos pontos de interesse denominados regiões máximas. Após a detecção do MSER, cada região máxima estável deve ser descrita utilizando um descritor robusto a variações de rotação como o SIFT. A Figura 3 mostra um exemplo de regiões máximas estáveis detectadas em duas imagens de diferentes escalas. Na Figura 4 é possível observar as regiões máximas detectadas em duas imagens obtidas de diferentes ângulos. 2.3 Speed-Up Robust Features (SURF) O algoritmo proposto por Herbert Bay et al. (BAY et al., 2008) é inspirado no SIFT, porém com o objetivo de ser rápido na extração e comparação de características. O SURF utiliza apenas características de imagens de tons de cinza, ou seja, não utiliza qualquer informação relacionada às cores da imagem. Assim como o SIFT, o algoritmo SURF

33 30 Capítulo 2. CONCEITOS Figura 3 Exemplos de regiões máximas detectadas em diferentes escalas (retas epipolares em amarelo). (MATAS et al., 2002) Figura 4 Exemplos de regiões máximas detectadas em diferentes ângulos de captura (MATAS et al., 2002) consiste em duas etapas, a primeira de localização dos pontos de interesse e a segunda de descrição destes pontos de interesse em um vetor de características que seja invariante às propriedades anteriormente mencionadas. O SURF extrai os pontos de interesse com base na variação das tonalidades da imagem (textura) utilizando as derivadas parciais das mudanças de valores em um relevo nos eixos horizontal e vertical para formar a matriz Hessiana. A determinante da matriz Hessiana retorna um valor alto para regiões da imagem onde existe uma grande variação de tonalidade. O SURF difere do SIFT aplicando uma aproximação mais simples para a obtenção da matriz Hessiana por meio de filtros caixa (box filters). Essa forma de aproximação em conjunto com o uso do conceito de imagens integrais para a representação da imagem

34 2.3. Speed-Up Robust Features (SURF) 31 possibilitam o cálculo de forma mais eficiente. As etapas de localização de pontos máximos com pirâmides de escalas e a seleção dos pontos máximos através da análise conjunta com imagens em escalas vizinhas acontecem de forma semelhante ao SIFT. A pirâmide de escalas consiste na redução da imagem em 50% do seu tamanho por um número pré determinado de iterações, conforme mostrado na Figura 5. Com o objetivo de extrair características invariantes à rotação, o algoritmo determina a orientação das variações de tonalidade realizando convoluções em uma área ao redor do ponto de interesse. O raio da área analisada esta relacionado à escala em que o ponto de interesse foi localizado na pirâmide de escalas da etapa anterior. Para extrair as informações que melhor descrevem esta área em volta do ponto de interesse, o SURF utiliza convoluções a partir do o método Haar Wavelet. A extração das informações de orientação resultam em um vetor de 64 posições que descrevem o ponto de interesse. Como as informações deste vetor foram extraídas tendo como base a orientação do ponto de interesse, o mesmo padrão pode ser encontrado caso a imagem seja rotacionada. Figura 5 Pirâmide de escalas com 5 iterações. Fonte: produção do próprio autor. No decorrer deste trabalho os descritores obtidos através de fórmulas matemáticas independentes do banco de imagens a ser analisado serão denominados descritores artificiais. Os descritores SIFT, MSER e SURF estão nesta categoria. Descritores extraídos de funções matemáticas no qual um ou mais parâmetros são obtidos por influência de uma base de imagens são denominados descritores naturais. Um exemplo de influência a partir dos dados da base de imagem são os filtros "apren-

35 32 Capítulo 2. CONCEITOS didos"por uma rede neural convolucional. Tais filtros não são fórmulas matemáticas fixas e sofrem mudanças em seus valores de acordo com os dados nos quais foram treinados. Redes neurais convolucionais serão estudadas mais à frente neste capítulo. 2.4 Support Vector Machines (SVM) O Support Vector Machines (SVM) é um algoritmo de aprendizado supervisionado proposto por Cortes e Vapnik (CORTES; VAP- NIK, 1995). O algoritmo infere, a partir de um conjunto de exemplos rotulados, uma função capaz de predizer os rótulos de novos exemplos desconhecidos. O algoritmo estabelece essa função linear com o objetivo de maximizar a margem entre os dados no hiperplano, conforme o exemplo da Figura 6a. Um dos benefícios da SVM em relação às demais redes neurais, como Multilayer Perceptron (MLP), está na realização da divisão do hiperplano considerando a distância entre os exemplos de treinamento. A divisão do hiperplano estabelecida por uma rede neural artificial não considera a distância entre as margens entre a função de decisão e os exemplos de treinamento. Na SVM a função de decisão é calculada com o objetivo de criar uma margem mais justa entre os vetores de suporte, como mostrado na Figura 6. O posicionamento da função de divisão considerando a distância entre os vetores proporciona uma melhor acurácia na classificação de novos exemplos. (a) (b) Figura 6 Comparativo de separação utilizando SVM e RNA. (a) Separação usando SVM (b) Separação usando RNA Fonte: produção do próprio autor. Para determinar a reta ou o plano separador entre as classes,

36 2.5. Multilayer Perceptron (MLP) 33 o SVM utiliza os exemplos de treinamento que ficam localizados na fronteira entre as classes no hiperplano como referência. Estes exemplos são chamados de vetores de suporte. Para efetuar a classificação de novos exemplos são necessários apenas os vetores de suporte, podendo os demais exemplos utilizados durante a etapa de treinamento serem descartados. Apesar de aumentar a eficiência na classificação de dados linearmente separáveis no uso prático, sua utilização fica comprometida pois dificilmente os dados são separados de forma linear. Para tornar possível a separação dos dados não lineares de forma linear a SVM utiliza os kernels para efetuar manipulações nos dados tornando-os linearmente separáveis. A utilização correta dos kernels exige um conhecimento da distribuição dos dados. Existem diversos tipos de kernels disponíveis, entre eles estão o linear, polinomial, gaussiano ou radial e sigmoid. 2.5 Multilayer Perceptron (MLP) As redes Multilayer Perceptron MLP são formadas por conjuntos de neurônios artificiais organizados em uma ou mais camadas intermediárias como mostrado na Figura 7. Redes com dois ou mais neurônios artificiais na camada intermediária podem ser utilizadas para a classificação de problemas não lineares (BRAGA; CARVALHO; LU- DEMIR, 2000). Os principais componentes são a camada de entrada, camada oculta ou intermediária e camada de saída. A camada de entrada é responsável por receber os dados, não acontecendo nenhum processamento, sendo os dados apenas repassados para a camada intermediária. A camada intermediária é composta por uma ou mais camadas com um ou mais nós (neurônios artificiais). Nesta camada é aplicada uma função de ativação não linear, a qual determina se o neurônio irá propagar a informação ou não com base nos estímulos recebidos da camada anterior multiplicado pelos pesos obtidos durante a etapa de treinamento. Duas funções comuns utilizadas são a tangente hiperbólica, demonstrada na Equação 2.1 com resultado variando entre -1 e 1 e a função logística, demonstrada na Equação 2.2 com resultado variando entre 0 e 1. (v i )=tanh(v i ) (2.1) Â(v i )=(1+e vi ) 1 (2.2)

37 34 Capítulo 2. CONCEITOS Camada de entrada x1 x2 Camada Intermediária Camada de Saída y1 x3 y2 x4 Fonte: produção do próprio autor. Figura 7 Exemplo de rede MLP. Os pesos representam o conhecimento da rede. A última camada, chamada de camada de saída, recebe as informações das camadas intermediárias e produz a resposta. O formato da resposta da rede pode variar de acordo com o problema sendo comum a utilização da saída de cada neurônio como 0 ou 1. Em um problema de classificação cada neurônio de saída corresponde a uma categoria. Em uma rede com 5 neurônios de saída podemos considerar o vetor [1,0,0,0,0] como sendo categoria 1, [0,1,0,0,0] como sendo categoria 2, [0,0,1,0,0] como categoria 3 e assim por diante. Na seção de redes neurais convolucionais estudada na seção 2.6 é descrita uma rede onde a saída consiste em um vetor com a probabilidade de uma imagem pertencer às possíveis categorias. A etapa de treinamento é responsável por ajustar os pesos dos nós com base na avaliação da taxa de erro após o processamento de cada um dos dados de treinamento previamente classificados manualmente.

38 2.6. Redes Neurais Convolucionais (CNN) 35 Nas redes MLP é utilizado o algoritmo backpropagation (ALPAYDIN, 2010) para efetuar os ajustes destes pesos. Após o treinamento, a rede pode ser utilizada para a classificação de novos exemplos. Caso seja incluída uma nova categoria nos dados de treinamento é necessário efetuar todo o treinamento da rede novamente (BRAGA; CARVALHO; LUDEMIR, 2000). Apesar de serem úteis em diversos problemas de classificação, as redes MLP não funcionam de forma eficiente em problemas de classificação de imagens quando a própria esta é utilizada como entrada da rede 1. A imagem utilizada para entrada na rede neural normalmente possui uma grande dimensionalidade, uma imagem de pixels resulta em uma entrada da rede com dimensões. A quantidade de dimensões na entrada da rede MLP totalmente conectada resulta em um crescimento exponencial de pesos na rede, dificultando o treinamento e aumentando a quantidade de processamento necessária. Outro problema encontrado ocorre em função de que em uma rede MLP cada neurônio artificial está conectado através de um peso independente entre as camadas. Esta característica presente na arquitetura da MLP dificulta o reconhecimento de objetos em diferentes locais da imagem. Se a rede MLP foi treinada para reconhecer um objeto que aparece no canto esquerdo das imagens, ela dificilmente será capaz de identificar o mesmo objeto quando ele estiver presente no canto direito de uma outra imagem. 2.6 Redes Neurais Convolucionais (CNN) Redes neurais convolucionais (CNN) são arquiteturas biologicamente inspiradas capazes de serem treinadas e aprenderem representações invariantes a escala, translação, rotação e transformações afins (LECUN; KAVUKCUOGLU; FARABET, 2010). Uma das questões chave no reconhecimento de padrões em imagens consiste em saber qual é a melhor forma de representar as características dos dados a serem reconhecidos de forma robusta e invariante à iluminação, orientação, pose, oclusão entre outros. Apesar de diversos descritores terem sido desenvolvidos para extrair estas características de forma artificial é desejável que um sistema de reconhecimento seja capaz de extrair esta representação de forma automática através dos dados brutos, no caso de reconhecimento de imagens, as próprias imagens. 1 < Convolutional_Neural_Networks>

39 36 Capítulo 2. CONCEITOS No trabalho de Hubel e Wiesel (1968), experimentos realizados com gatos e macacos mostraram que o córtex visual é organizado em um conjunto hierárquico de células sensíveis a pequenas sub regiões chamadas campos receptivos. Hubel categoriza as células como simples, complexas e super complexas de acordo com o padrão de estímulo a qual são ativadas. Células simples são ativadas quando são apresentados padrões simples para o animal, como linhas. As células complexas e super complexas são ativadas quando padrões mais elaborados, compostos de combinações de padrões simples, são apresentados ao animal. A partir do estudo de Hubel surge a hipótese de que uma boa representação interna deve ser hierárquica, onde os pixels formam arestas, as arestas formam padrões, os padrões combinados dão origem a partes, as partes combinadas formam os objetos e os objetos formam cenas (LECUN; KAVUKCUOGLU; FARABET, 2010). Esta estrutura sugere que o mecanismo de reconhecimento necessita de diversos estágios de treinamento empilhados uns nos outros, um para cada nível de hierarquia. As CNN surgiram para representar este tipo de arquitetura. As CNN compõem um dos tipos de algoritmos da área conhecida como deep learning e são projetadas para uso com dados em duas dimensões tornando-as uma boa candidata para a solução de problemas envolvendo reconhecimento de imagens (AREL; ROSE; KARNOWSKI, 2010). As CNN são arquiteturas multiestágios capazes de serem treinadas. Os campos receptivos são altamente correlacionados à localidade do estímulo na imagem capturada. As CNN utilizam este conceito forçando um padrão de conectividade entre as camadas de neurônios artificiais. A Figura 8 mostra esta organização onde uma camada i está conectada a uma uma pequena sub região da camada i 1. Neste exemplo a camada m 1 corresponde a imagem de entrada. A camada superior m possui um campo receptivo de tamanho 3, onde cada neurônio recebe o estímulo de 3 neurônios da camada anterior. A camada m +1 ésemelhante à camada anterior, possuindo um campo receptivo de tamanho 3 com relação à camada anterior porém, com um campo receptivo de tamanho 5 com relação à imagem de entrada. Considerando esta analogia, cada campo receptivo é considerado um filtro não linear onde seus pesos devem ser aprendidos para que o neurônio seja ativado apenas quando um determinado estímulo estiver presente na área onde o filtro foi aplicado. Cada filtro é aplicado à toda a imagem de entrada (ou camada anterior) de forma convolucional, o resultado da aplicação deste filtro é chamado de mapa de características (feature map). Cada mapa de

40 2.6. Redes Neurais Convolucionais (CNN) 37 Camada m+1 Camada m Camada m-1 Figura 8 Organização dos campos receptivos em uma CNN. Fonte: produção do próprio autor. características compartilha os mesmos parâmetros. A Figura 9 mostra o compartilhamento dos parâmetros. Esta estratégia garante que uma determinada característica será detectada pelo mapa de características independentemente da sua posição da imagem (ou mapa) de entrada. Camada m mapa de características Camada m-1 Figura 9 Compartilhamento dos parâmetros para criação de um mapa de características. Fonte: produção do próprio autor. As entradas de dados de cada estágio são um conjunto de mapas de características (features maps). Quanto aplicada utilizando imagens coloridas, a entrada do primeiro estágio consiste nos três canais de cores da imagem. Cada vetor de duas dimensões passa a funcionar como um mapa de características. Na saída de cada estágio, cada mapa corresponde a convolução do mapa de entrada por um filtro. A aplicação do filtro no mapa destaca algumas características. Cada filtro é responsável por destacar uma característica diferente. No primeiro estágio os filtros destacam linhas e gradientes em diferentes orientações. Um mapa de característica é obtido efetuando a convolução de uma imagem de entrada por um filtro linear seguido da adição de um termo de bias e da aplicação de uma função não linear. Sendo a

41 38 Capítulo 2. CONCEITOS camada k, os filtros determinados por um conjunto de pesos W k eum termo de bias b k e o operador de convolução ú, a Equação 2.3 (LECUN; KAVUKCUOGLU; FARABET, 2010) mostra a obtenção do mapa de característica h k para uma função não linear f. h k ij = f((w k ú x) ij + b k ) (2.3) Cada estágio é composto por três etapas, filtragem (filter bank layer), etapa não linear (non-linearity layer) e etapa de redução (feature pooling layer) que representa o campo receptivo. Uma CNN pode ser composta de um ou mais estágios onde cada um contém as três etapas. A Figura 10 mostra uma CNN com um único mapa de características de entrada (ex: uma imagem em tons de cinza) com dois estágios convolucionais C1+S1 e C2+S2. Figura 10 Rede neural convolucional com dois estágios (LECUN; KA- VUKCUOGLU; FARABET, 2010). A etapa de filtragem realiza a convolução dos filtros W k i, correspondente ao i-ésimo filtro da camada k de tamanho l 1 l 2 na imagem. Cada filtro detecta uma característica particular em todas as localizações na imagem de entrada. Na primeira camada a imagem de entrada I mn,sendom a altura e n o comprimento, é representada através de um um conjunto de mapas de características, um para cada canal de cor. Na Figura 11 é realizado um exemplo de convolução no qual a máscara é transladada em posições em que se encontra integralmente no domínio dos pixels (e, portanto, reduzindo a imagem resultante). É possível observar que o filtro aplicado realça áreas onde existe uma grande diferença nos valores de forma vertical, como em um canto de um objeto por exemplo. A etapa não linear é responsável por aplicar uma função não linear em cada um dos elementos dos mapas de características. Hinton (HINTON et al., 2012) e Zeiler(ZEILER; FERGUS, 2013) utili-