Reconhecimento de Alimentos utilizando Histograma de Cor e SIFT

Transcrição

1 Reconhecimento de Alimentos utilizando Histograma de Cor e SIFT Daniela S. Costa 1, Polyana B. Costa 1, Geraldo Braz Jr. 2 1 Núcleo de Computaçao Aplicada - Universidade Federal do Maranhão (UFMA) Caixa Postal São Luís MA Brazil 2 Departamento de Informática Universidade Federal do Maranhão (UFMA) {daniela.soucst,polyanabcosta, ge.braz}@gmail.com Abstract. Food recognition is far from an elementary task since it is recurrent that food items present variations from shape to color and size. Nevertheless, food identification can be helpful in the treatment of obesity, monitoring diets and in applications that impact the quality of the user s life.the most used techniques in food recognition are based on the use of Scale Invariant Feature Transform (SIFT) and color histograms. In order to find out which technique suits better the problem, this paper presents a comparison between them using 4 food classes: meat, lasagna, salad and ice cream, as well as the development of an app for food recognition. Resumo. Reconhecer alimento está longe de ser uma tarefa simples, uma vez que é muito comum os itens alimentares apresentarem variações que vão desde a cor até a forma e tamanho. No entanto, identificar alimentos pode ser muito útil em acompanhamentos de dietas, no tratamento de obesidade e em outras aplicações que afetam a qualidade de vida do usuário. Ao analisar a literatura, duas técnicas são comumente encontradas no reconhecimento de comida: a primeira baseada em histogramas de cor e a segunda utiliza Scale Invariant Feature Transform (SIFT). Sendo assim, o objetivo deste artigo é fazer um comparativo entre essas duas técnicas quando aplicadas no reconhecimento de quatro grupos de comida: carne, lasanha, salada e sorvete, além de apresentar o desenvolvimento de um sistema identificador de alimentos para dispositivos móveis. Palavras-chave: Reconhecimento de Alimento, Histograma de Cor, SIFT, SVM. 1. Introdução O reconhecimento automático de comida vêm recebendo destaque devido a necessidade de ferramentas computacionais que auxiliem o combate a obesidade. Sendo assim, os objetivos desses sistemas, geralmente, consistem em oferecer o conteúdo nutricional dos alimentos escolhidos pelas pessoas, além de poderem auxiliar profissionais na área da saúde com sua capacidade de mensurar o consumo de seus pacientes [Spector 2009]. Diversos trabalhos propuseram soluções diferentes à tarefa de identificar alimentos. Um deles foi proposto em [Shroff et al. 2008], o qual desenvolveu um sistema reconhecedor de alimento para monitoramento de calorias. Também visando uma estimativa das calorias ingeridas, [Wu and Yang 2009] utilizou vídeos onde, ao reconhecer

2 comidas do tipo fast food, é capaz de gerar uma estimativa das calorias obtidas. Já [Russo et al. 2002] aplicou algoritmos para reconhecimento de comida de forma que pudesse monitorar a produção de fast food usando vídeos. Por fim, [Chen et al. 2009] introduziu um conjunto de imagens para reconhecimento, juntamente com um algoritmo para identificação baseados em duas técnicas: histogramas de cor e SIFT, que são as técnicas utilizadas no desenvolvimento deste trabalho. 2. Metodologia Ao trabalhar com reconhecimento de imagens de comida, técnicas comuns de visão computacional, como detecção de bordas, mostram-se ineficazes devido às mudanças de forma que um mesmo alimento pode sofrer de acordo com cada prato. Para superar isso, as técnicas utilizadas no reconhecedor de alimentos proposto nesse trabalho focaram principalmente na extração de características locais invariáveis a mudança de iluminação, ruído e ponto de vista, além do uso de histogramas de cor dos alimentos. Apesar das cores não serem completamente confiáveis, pois alimentos bem diferentes podem ter distribuição de cores parecidas, obtemos bons resultados. Cada conteúdo da abordagem utilizada será explicado nas seções abaixo. As imagens utilizadas tanto nas etapas de treinamento, quanto nas de teste são provenientes do The Food-101 Data Set [Bossard et al. 2014], o qual possui mais de 100 categorias. Dentre as quais foram escolhidas as classes com imagens de carne, lasanha, salada e sorvete. Estes grupos de alimentos foram escolhidos por serem comuns na culinária brasileira e por serem bem distintos entre si. O pré-processamento em ambas abordagens envolveu o uso do filtro gaussiano [Young and Van Vliet 1995] para suavizar a base de dados. Imagens de comida costumam possuir muito ruído, ou ingredientes que talvez não sejam fundamentais na identificação de certo prato. O filtro gaussiano foi aplicado para tentar deixar apenas os ingredientes principais de cada categoria, reduzindo os ruídos, tal processo foi realizado pela biblioteca OpenCV [Bradski 2000] Extração de Características utilizando Histograma de Cor Devido à sua simplicidade, baixo custo de processamento, eficiência e propriedades e invariância à rotação e translação, histogramas de cor são amplamente utilizados em visão computacional para extrair características de baixo nível. A primeira abordagem para o reconhecimento de alimentos utilizou apenas histograma de cor para extração de características. Histogramas são funções de distribuição de probabilidades, que mostram a frequência de determinadas características. Um histograma de imagem apresenta informações de forma organizada, registrando ocorrências de dados em um conjunto de extensão predefinida, denominada bins ou subdivisões de uma dimensão. Em nosso projeto, utilizamos histogramas HSV. Um histograma HSV é multidimensional e utiliza o sistema de cores formado pelas componentes H (Hue), S(Saturation) e V(Value). Consiste em uma distribuição dos dados de uma imagem em três canais e mapeia o número de ocorrências de cada nível desses canais[[smith 1978]]. O canal Hue corresponde à matiz ou tonalidade, e verifica o tipo de cor. Pode ter valores de 0 a 360. O canal Saturation corresponde à saturação da

3 cor. Quanto menor for o valor, mais a cor se aproxima do cinza e quanto maior o valor de saturação, mais pura é a cor. Varia de 0 a 255 ou pode ser escalado para variar de 0 a 1. O canal Value ou valor corresponde ao brilho da cor. Representa porcentagem e varia de 0 a Extração de Características utilizando SIFT Na segunda abordagem aplicou-se um dos descritores mais comuns em Visão Computacional para extração e recuperação de características: o Scale Invariant Feature Transform (SIFT). As características extraídas e descritas pelo SIFT são robustas à mudança de iluminação, ruído e mudanças no ponto de vista, o que aumenta as chances de identificar corretamente os objetos [Lowe 2004]. Tal técnica consiste nas fases listadas abaixo: Scale-Space Detection: o primeiro estágio do SIFT consiste em utilizar a função Difference-Of-Gaussian para identificar potenciais pontos de interesse que sejam invariantes à escala e orientação. Localização de keypoints:keypoints baseados em suas estabilidades são selecionados em cada localização potencial adquirida na fase anterior. Atribuir orientação: orientações são atribuídas para cada localização do keypoint baseada nas direções dos gradientes. O vetor de orientações é calculado ao redor do keypoint e a partir daí, todas as operações serão feitas baseadas na orientação recebida, na escala e na localização de cada keypoint, o que garante invariância à essas transformações. Descritor dos Keypoints: a fase final do SIFT consiste em computar vetores descritores para cada keypoint. Para isso, histogramas direcionais são criados numa janela de 4x4 com 8 bins cada. O descritor é um vetor com todos os valores desses histogramas e possui 128 elementos (4 4 = 16; 16 8 = 128). Para a extração de características utilizando SIFT, após receber uma imagem convertida para HSV, um conjunto de keypoints é gerado com seus respectivos descritores.tais descritores são acumulados em uma matriz que mais tarde é repassada ao Bag of Word (BOW) [Wallach 2006], cujo tamanho do dicionário foi ajustado para 100. Utilizar BOF (também conhecido como Bag of Features em Visão Computacional) foi necessário, pois os descritores gerados pelo SIFT possuíam tamanho muito variável, o que comprometia a adição destes na matriz de treinamento. BOF representa um modelo no qual uma imagem é tratada como um documento, tendo suas características consideradas como palavras. Seguindo esse modelo, cada imagem possui um vocabulário visual que consiste em um vetor para contagem de ocorrências das características locais na mesma. Esse vocabulário visual é construído através do agrupamento de características extraídas de um conjunto de imagens de treinamento. Dada uma nova imagem, as características são detectadas e atribuídas ao agrupamento mais próximo. O termo vetor é simplesmente um histograma normalizado das características detectadas na imagem [O Hara and Draper 2011] Reconhecimento Para reconhecimento dos alimentos as duas abordagens empregaram o Support Vector Machine(SVM) [Cortes and Vapnik 1995], que consiste em um processo de indução, onde

4 se tiram conclusões genéricas a partir de um conjunto de exemplos. Os SVM extraem as informações pra representar o conhecimento a partir dos exemplos, ou dados de entrada. Neste trabalho quatro classes foram utilizadas: carne, lasanha, salada e sorvete. O que vai diferir nas duas abordagens, quanto a essa etapa é a entrada dada para o SVM no treinamento. Em uma abordagem o classificador se baseará apenas nos histogramas de cor gerados, e na outra em uma matriz de características geradas pelo SIFT. Como treinar em dispositivo móvel não é algo recomendável, o aplicativo precisa apenas carregar o arquivo de treinamento em xml (gerado pela execução em computador), e já estará hábil para identificar as categorias treinadas. 3. Resultados Nesta seção são apresentados e discutidos os resultados obtidos aplicando-se as duas abordagens analisadas neste trabalho. No final também é apresentado o aplicativo voltado para sistemas mobile com a função de identificar alimentos. Para comparação da acurácia obtida através de cada técnica, estabeleceu-se 120 imagens de treinamento (30 para cada categoria) e 40 para teste (10 para cada classe). A abordagem baseada nos Histogramas de Cor respondeu ao teste com uma acurácia média de 60%. As acurácias para cada classe podem ser acompanhadas na figura 1, onde percebe-se que o grupo das saladas obteve mais sucesso na identificação com 90% de sucesso. Já as demais categorias não passaram dos 60%. Figura 1. Resultado de classificação para carne, sorvete, salada e lasanha (utilizando Histograma de Cor) Figura 2. Resultado de classificação para carne, sorvete, salada e lasanha (utilizando SIFT+BOW)

5 No entanto, quando aplicou-se SIFT seguido de BOW (Figura 2), a acurácia média total subiu para 70%. Classes que pela técnica anterior não passavam do 60%, chegaram até 80% de acurácia. Esse foi o caso das categorias carne com 70% e sorvete com 80%. Já salada e lasanha obtiveram o mesma acurácia nos dois testes. A Figura 3 traz a interface do protótipo para o aplicativo identificador de alimentos, onde o usuário ao Abrir Galeria pode selecionar a foto da comida a ser reconhecida, bastando clicar no botão Classificar. Por enquanto, a única informação que o aplicativo retorna é a classe encontrada para tal imagem. Até o momento, a técnica utilizada para classificação nesse sistema é a baseada em Histogramas de Cor. Figura 3. Versão aplicativo 4. Conclusão O objetivo deste trabalho é apresentar as etapas de desenvolvimento de um sistema reconhecedor de alimentos. Para isso, duas abordagens para reconhecimento foram testadas e comparadas, a fim de identificar a que mellhor se aplica ao problema, uma com histograma de cor e outra com SIFT. Abordagens baseadas em Histogramas de Cor utilizam os valores de pixel como característica principal para caracterização de uma classe. Já as abordagens que utilizam SIFT como extrator de características utilizam informações direcionais como características. A fim de comparar a acurácia obtida por cada técnica, estabeleceu-se 4 (quatro) categorias de alimentos considerados populares: carne, lasanha, salada e sorvete. Como já esperado a abordagem SIFT, levando mais tempo de processamento, obteve mais sucesso em seus reconhecimentos. No entanto, é válido ressaltar que nada impede que as duas técnicas sejam aplicadas juntas, o quê se propôs neste trabalho foi a aplicação e análise das duas de forma separada. Por fim, como havia um interesse na implementação de um aplicativo identificador de alimento para plataformas mobile, criou-se um primeiro protótipo baseado na técnica de Histogramas de Cor. Como trabalhos futuros, são previstos aperfeiçoamentos nos processos de reconhecimento para torná-lo menos dependente de cor e mais eficaz para aplicação num dispositivo móvel.

6 Referências Bossard, L., Guillaumin, M., and Van Gool, L. (2014). Food-101 mining discriminative components with random forests. In European Conference on Computer Vision. Bradski, G. (2000). Opencv library. Dr. Dobb s Journal of Software Tools. Chen, M., Dhingra, K., Wu, W., Yang, L., Sukthankar, R., and Yang, J. (2009). Pfid: Pittsburgh fast-food image dataset. In th IEEE International Conference on Image Processing (ICIP), pages IEEE. Cortes, C. and Vapnik, V. (1995). Support-vector networks. Machine learning, 20(3): Lowe, D. G. (2004). Distinctive image features from scale-invariant keypoints. International journal of computer vision, 60(2): O Hara, S. and Draper, B. A. (2011). Introduction to the bag of features paradigm for image classification and retrieval. arxiv preprint arxiv: Russo, R., Shah, M., and Lobo, N. (2002). A computer vision system for monitoring production of fast food. In Proc. The 5th Asian Conference on Computer Vision. Shroff, G., Smailagic, A., and Siewiorek, D. P. (2008). Wearable context-aware food recognition for calorie monitoring. In th IEEE International Symposium on Wearable Computers, pages IEEE. Smith, A. R. (1978). Color gamut transform pairs. ACM Siggraph Computer Graphics, 12(3): Spector, R. (2009). Science and pseudoscience in adult nutrition research and practice. Skeptical Inquirer, 33(3): Wallach, H. M. (2006). Topic modeling: beyond bag-of-words. In Proceedings of the 23rd international conference on Machine learning, pages ACM. Wu, W. and Yang, J. (2009). Fast food recognition from videos of eating for calorie estimation. In 2009 IEEE International Conference on Multimedia and Expo, pages IEEE. Young, I. T. and Van Vliet, L. J. (1995). Recursive implementation of the gaussian filter. Signal processing, 44(2):