Detecção de Faces Humanas em Imagens Coloridas Utilizando Redes Neurais Artificiais

Transcrição

1 Detecção de Faces Humanas em Imagens Coloridas Utilizando Redes Neurais Artificiais Wellington da Rocha Gouveia Universidade de São Paulo Escola de Engenharia de São Carlos Departamento de Engenharia Elétrica Maria Stela Veludo de Paiva Universidade de São Paulo Escola de Engenharia de São Carlos Departamento de Engenharia Elétrica Resumo Este trabalho apresenta como proposta, o desenvolvimento de um algoritmo baseado em redes neurais artificiais, para a detecção de faces humanas em imagens digitais coloridas, utilizando segmentação de pele. O trabalho foi dividido em sete módulos principais, onde os módulos são: Pré-processamento, Segmentação de Pele, Pós-processamento da imagem, Detecção das Bordas, Localização de objetos, Extração de características e Detecção e interpretação da face. A detecção e interpretação da face fazem uso das características detectadas para cada objeto, as quais são aplicadas em uma rede neural MLP que identificará se o objeto sob análise é face ou não. Os resultados obtidos demonstram que é eficiente a aplicação deste trabalho em imagens coloridas que contem diversas faces de pessoas de diferentes etnias. 1. Introdução Sistemas biométricos aplicados à identificação de face auxiliam no reconhecimento e identificação de indivíduos. Isto só é possível devido à evolução das técnicas de processamento de imagens e de tecnologias e técnicas de áreas afins. Muitos sistemas aplicados existentes no mercado funcionam com eficiência, pois há interação de áreas no sistema, sem contar a qualidade dos equipamentos físicos, que atualmente atendem as expectativas de qualidade. A combinação de técnicas das áreas de processamento de imagens e inteligência artificial, mais especificamente Redes Neurais Artificiais (RNA), Sistemas Fuzzy e Sistemas Inteligentes (uma combinação de RNA e Sistemas Fuzzy), tem sido utilizadas no desenvolvimento de sistemas biométricos. O reconhecimento, ou detecção de face humana, pode ser feito tanto em imagens quanto em vídeos. A detecção é uma das etapas iniciais do reconhecimento facial, sendo, portanto, de extrema importância para o algoritmo de reconhecimento. Encontrar faces em imagens é tarefa difícil, pois pode ocorrer variação de luminosidade, e o fundo da imagem pode possuir detalhes que sobrepõe parcialmente ou totalmente a face que deverá ser localizada, entre outros problemas. Diferentes técnicas podem ser utilizadas na tarefa de detecção facial, podendo-se citar PCA-LDA (Principal Component Analysis) [1], proporção divina [2], RNA SOM (Self-Organizing Map) [1] e, sistemas Fuzzy [3] e RNA Multi-Layer Perceptron (MLP) [4]. Esse trabalho propõe um algoritmo para detecção faces que usa segmentação de pele, separando cor de pele e texturas de face, de outros objetos presentes em uma imagem. Com a segmentação de pele é reduzida a quantidade de objetos que possam interferir no processo de detecção, espera-se dessa forma, obter uma detecção com bons resultados para imagens coloridas com fundo complexo e diversas pessoas. O objetivo deste trabalho é desenvolver um algoritmo baseado em RNA e processamento de imagens para a detecção de faces humanas em imagens digitais coloridas, contendo uma ou mais faces. 2. Detecção de Faces A detecção de faces consiste na utilização de técnicas computacionais para determinar se existem faces ou não em uma imagem e, se existirem, deve retornar a localização de cada face. Embora a detecção de faces seja uma tarefa fácil para os seres humanos, a implementação de sistemas computacionais que realize esta tarefa é complexa, devido a diversas dificuldades, tais como [5]. Pose: a posição de uma ou mais face presente numa imagem varia devido à posição da face em relação à câmera (frontal, 45 graus, perfil, de cabeça para baixo) e, além disso, alguns componentes faciais como olhos e nariz, podem estar parcialmente ou totalmente obstruídos. Presença ou ausência de componentes estruturais: a presença de elementos na face tais como, barba, bigode e óculos, que podem modificar características como a forma, o tamanho e a cor. Expressão facial: a expressão da face afeta diretamente a aparência da face.

2 Oclusão: as faces podem estar parcialmente obstruídas por outros objetos. Orientação da imagem: as imagens podem variar diretamente com a rotação da câmera ao redor do eixo. Condições da imagem: quando a imagem é formada, fatores de iluminação (espectro, fonte de distribuição e intensidade) e características da câmera (resposta de sensor e lentes) podem afetar a aparência da face. Existem vários métodos para detecção de faces em imagens em escala de cinza e em imagens coloridas. [5] Cada método preocupa-se em identificar a face ou faces presentes numa imagem com a maior taxa de acerto possível, e cada um apresenta vantagens e desvantagens. Métodos mais robustos tendem a ser de implementação mais complexa e a ter maior custo computacional, como é o caso do método de autofaces (eigenfaces). Métodos que utilizam a cor da pele são de implementação mais simples, mas o resultado depende do espaço de cores utilizado. algoritmo de aprendizagem usado para treinar a rede. Pode-se identificar 4 tipos de arquiteturas de redes neurais: redes feedforward unicamada (Perceptron), redes feedforward multicamada, redes recorrentes e estrutura de Lattice (Reticulada). A seguir, será descrita a arquitetura da rede Perceptron multicamada (MLP) que é um tipo de rede feedforward, e que será na implementação deste trabaho. O perceptron multicamadas (MLP, multilayer perceptron) é uma rede do tipo feedforward, que contêm uma ou mais camadas internas (Figura 2). Tem sido aplicada com sucesso, na resolução de problemas das mais diversas áreas, podendo-se citar: reconhecimento de padrões, processamento de imagens e de sinais, e previsão de séries temporais. O seu treinamento é realizado de forma supervisionada com o algoritmo de retropropagação de erro (error back-propagation). Este algoritmo baseiase na regra de aprendizagem por correção de erro. 3. Redes Neurais As redes neurais artificiais tentam simular o cérebro humano, modelando a maneira como o cérebro realiza uma tarefa particular ou função de interesse. A rede é normalmente implementada utilizando-se componentes eletrônicos ou é simulada por programação em um computador digital. Para alcançarem bom desempenho, as redes neurais empregam uma interligação maciça de células computacionais simples denominadas de neurônios ou unidades de processamento [6]. O modelo computacional de um neurônio, inspirado nos neurônios do cérebro, é mostrado na Figura 1 e constitui a base para os projetos de redes neurais artificiais [6]. Figura 1 - Modelo não-linear de um neurônio A maneira como os neurônios são organizados e interconectados define a arquitetura da rede neural. O tipo de organização está diretamente relacionado com o Figura 2 - Grafo arquitetural de um perceptron múltiplas camadas com duas camadas ocultas 4. Detecção de Faces com Redes Neurais Diferentes arquiteturas de redes neurais artificiais foram propostas para a detecção de faces, pois a detecção de faces pode ser tratada como um problema de reconhecimento de padrões, tal como em OCR (reconhecimento ótico de caracteres), reconhecimento de objetos, etc., onde as redes neurais artificiais são aplicadas com sucesso [7], [8] e [9]. Na detecção de faces, a utilização de redes neurais consiste em diferenciar imagens ou regiões da imagem que, possivelmente contenham uma face, daquelas imagens ou regiões que não contém face, ou seja, a função da rede é apenas classificar as imagens em face e nãoface. [10] No trabalho de [8] é apresentado um sistema de detecção de faces baseados em redes neurais. Neste sistema uma imagem de entrada é percorrida por um filtro, que consiste em uma janela de 20x20, que extrai regiões da imagem onde podem existir faces. Logo após a extração da possível região de face, esta é submetida à equalização de histograma e à normalização da luz,

3 devido às várias condições de luminosidade. Se a face for maior que o tamanho da janela, a imagem é sub-amostrada repetidamente por um fator de 1.2, e o filtro é aplicado em cada sub-amostragem (Figura 3). Cada bloco da imagem depois de extraído e pré-processado é enviado para uma rede neural, que decidirá se nele existe ou não uma face. A rede é composta por várias camadas com arquiteturas diferentes, como mostrado na figura 5, denominadas campos receptivos. Cada camada avalia uma parte de imagem com a finalidade de se detectarem características que podem ser úteis para determinar a presença de face. Utilizando uma rede com 78 neurônios intermediários e 4357 conexões, ela apresenta como resposta um único valor, que determina a existência ou não da face. [8] 7. Detecção e interpretação da face, que faz uso das características detectadas para cada objeto, as quais são aplicadas em uma rede neural MLP que identificará se o objeto sob análise é face ou não. Como imagens de entrada foram utilizadas imagens com extensão JPEG, adquiridas de diferentes páginas da internet. Figura 4 Diagrama em blocos do modelo proposto Figura 3: Algoritmo de detecção de faces baseado em RNA. 5. Metodologia Este trabalho apresenta como proposta, o desenvolvimento de um algoritmo baseado em redes neurais artificiais, para a detecção de faces humanas em imagens digitais coloridas, utilizando segmentação de pele. O trabalho foi dividido em sete módulos principais como pode ser visto na figura 4, onde os módulos estão relacionados a seguir: 1. Pré-processamento, aplicado para redução de ruído e melhoria da qualidade da imagem de entrada; 2. Segmentação de Pele, aplicada para retirar da imagem todas as regiões detectadas como não pele, utilizando para isso uma rede neural MLP; 3. Pós-processamento da imagem, utilizada para destacar as características relevantes para a detecção das faces; 4. Detecção das Bordas, realizada nas áreas que contem pele e que será utilizada no processo de detecção da face como uma característica relevante; 5. Localização de objetos, etapa realizada para localizar todos os objetos presentes na imagem, onde cada objeto localizado pode ser sub-dividido em mais de um objeto; 6. Extração de características, onde são aplicados métodos de extração de características para cada objeto localizado na etapa anterior; Todas as imagens são coloridas, contendo uma ou mais pessoas, de ambos os sexos, com fundo de complexidade variável, com dimensões variadas e sem nenhum controle de luminosidade, como pode ser visto na figura 5. Figura 5 Exemplo de imagens utilizadas para teste. É importante mencionar que houve a preocupação de se escolher imagens contendo pessoas de diferentes etnias, para avaliação do módulo de segmentação de pele. As imagens adquiridas incluem faces com diferentes ângulos de inclinação e variações de expressão, além de faces com barba, bigode e óculos, que são componentes que podem dificultar a detecção da face (figura 6). Figura 6 Exemplo de imagens utilizadas com características que dificultam a detecção

4 O pré-processamento tem e a função de melhorar a qualidade da imagem através da redução do ruído. Para o desenvolvimento dessa etapa foi utilizada a filtragem por mediana 3X3, que minimiza o ruído, mas preserva as bordas [11]. A etapa de segmentação de pele consiste em separar as regiões que contêm pele das demais informações da imagem. Na implementação dessa etapa foi adotado o espaço de cores RGB. Para escolha desse espaço de cor foram realizados testes com um conjunto de imagens utilizando os espaços RGB, HSV e YCbCr, onde o RGB foi o que apresentou melhores resultados para a realização desse trabalho. Na segmentação foi utilizada uma rede neural MLP com o algoritmo de aprendizado backpropagation. A topologia dessa rede é constituída por uma camada de entrada com 3 entradas, 2 camadas escondidas contendo 3 neurônios cada uma, e uma camada de saída com um neurônio,. Na camada de entrada são aplicadas as informações RGB referentes a cada pixel da imagem, e a camada de saída determina se o pixel é pele ou não pele, atribuindo uma cor padrão ao pixel não pele (Figura 7). (a) (b) Figura 7 (a) imagens originais, (b) imagens processadas O treinamento da rede neural foi realizado utilizando a aprendizagem supervisionada, onde o conjunto de teste utilizado foi elaborado utilizando os padrões corresponde aos pixel das regiões que continham pele e não pele, em um conjunto de 25 imagens, com pessoas de diversas raças e fundos diferentes. Na etapa de pós-processamento são aplicados filtros de dilatação na imagem, para corrigir pequenas falhas que tenham ocorrido na etapa de segmentação de pele. Além disso são aplicados ainda filtros de aguçamento para realçar detalhes finos ou detalhes que tenham sido borrados nos passos anteriores e por fim a imagem é convertida em preto e branco (binarização) utilizando o método de Otsu para permitir a detecção de bordas utilizando o operador Sobel [11]. A detecção de bordas tem a função de extrair as bordas da imagem. Como detector de bordas foi utilizado o operador Sobel enfatizado na vertical e horizontal, com o qual se obteve resultados satisfatórios na detecção de bordas após a imagem colorida ser convertida em tons de cinza. A etapa de localização de objetos consiste em realizar uma varredura na imagem, separando e gerando novas imagens das regiões de todos os objetos encontrados, em cada objeto encontrado nesta etapa será realizada a extração de características para a detecção de face, e ainda alguns objetos encontrados podem ser divididos em mais objetos conforme o seu tamanho e formato. A etapa de extração de características é responsável por extrair características da imagem resultante dos processos anteriores, que serão utilizadas na próxima etapa para determinar com precisão se o objeto encontrado é uma face ou não. Alem disso reduz a Figura 8 Topologia da Rede Neural proposta para a detecção de face

5 quantidade de dados de entrada para o processo de detecção de face. Nessa etapa, a entrada é uma imagem, mas a saída do processo é um conjunto de dados correspondente à imagem de entrada. A extração de características será realizada em objetos detectados em partes da imagem capturada, através de um algoritmo de varredura. Para a extração, a imagem capturada será redimensionada em um tamanho padrão, que facilitará a localização das características relevantes, as quais serão utilizadas na próxima etapa onde será analisado se a imagem é uma face ou não. A utilização de redes neurais é muito importante no processo de reconhecimento de padrões e classificação. O processo de detecção de face apresentado neste trabalho consiste na utilização de uma rede neural MLP com o algoritmo de aprendizado backpropagation, que irá classificar através do conjunto de dados definido pela etapa de extração de características, se a imagem selecionada é uma face ou uma não-face. O treinamento da rede neural para validar se é face ou não-face, foi realizado utilizando a algoritmos de aprendizagem supervisionada, onde o conjunto de teste utilizado foi elaborado utilizando características extraídas de um conjunto imagens contendo faces e de um conjunto de não-face. A rede neural para verificação de faces é constituída por uma rede MLP que usa como entrada o resultado de outras três redes MLP s, onde cada rede irá verificar as seguintes características específicas obtidas na etapa anterior: posição dos olhos, nariz e boca (Figura 8). Para o desenvolvimento do algoritmo, foi utilizado o MATLAB (Matrix Laboratory) versão 7.0, com o toolbox de processamento de imagens e redes neurais. Com o auxilio dos toolbox que contém funções previamente implementadas, é possível obter uma maior agilidade no processo de desenvolvimento do algoritmo e na análise dos resultados obtidos. 6. Resultados Para verificar a eficiência do algoritmo de segmentação, foram utilizadas 25 imagens adquiridas na internet com diversas variações de luminosidade, dimensão e pessoas de diversas etnias. A figura 9(b) mostra a imagem resultante da aplicação do algoritmo de segmentação na imagem original apresentada na figura 9(a) respectivamente. Observa-se que as imagens resultantes apresentam as regiões que contem pele onde foram removidas praticamente todas as regiões que contém fundo. Mas o algoritmo não consegue remover as partes da imagem que contém cores que se assemelham à da pele humana. (a) (b) Figura 9 (a) imagem original, (b) imagem processadas O problema mais grave encontrado é a remoção do fundo da imagem, incluindo as regiões que contem pele humana. Esse problema ocorre principalmente quando a cor da região que está localizada a pele apresenta cores que são reconhecidas como pertencente ao fundo de imagem. Quantidade Total de pessoas 83 Pessoas localizadas Estado das pessoas localizadas Sem erosão Com erosão Pessoas não localizadas Figura 10 Gráfico de pessoas localizadas após segmentação e erosões ocorridas nas faces O gráfico apresentado na figura 10 mostra o resultado final dos testes realizados nas 25 imagens, onde foram visualizadas 87 faces humanas. Após o processo de segmentação foi mantido um total de 83 faces e dentre essas um total de 10 faces com algum tipo de erosão, faces essas que serão utilizadas na etapa de extração de características, que serão utilizadas para determinar se existe ou não face na região selecionada. 7. Conclusões O algoritmo de segmentação de pele, através da metodologia proposta, apresentou bons resultados na resolução de problemas de segmentação em imagens com fundo complexo. No entanto os resultados evidenciaram diferentes problemas relacionados a objetos com cores similares ao da pele humana. Na etapa de extração de características os se obteve bons resultados, pois com a segmentação da pele e a remoção do fundo, as pequenas regiões de fundo que continham cores semelhantes à pele não interferiram de maneira relevante na extração das principais características utilizadas para determinar se na região contem face ou não. Os testes realizados até momento com as características extraídas das imagens 4

6 apresentam bons resultados e a viabilidade da utilização de redes neurais para realizar segmentação de pele em imagens e a detecção de face nas regiões que contém cores que se assemelham à pele humana. 8. Referências [1] SANTOS, A. R. (2005), Identificação de faces humanas através de PCA-LDA e redes neurais SOM, Dissertação, Escola de Engenharia de São Carlos, USP Universidade de São Paulo. [2] PRADO, J. L. (2004), Investigação biométrica em imagens digitais para detecção de faces humanas através da proporção divina, Dissertação, Escola de Engenharia de São Carlos, USP Universidade de São Paulo. [3] NASCIMENTO, A. V.; GOZAGA, A. (2005). Detecção de faces humanas em imagens digitais: um algoritmo baseado em lógica nebulosa, I Workshop de Visão Computacional, (WVC 2005), pp [4] GASPAR, T. L. (2006), Reconhecimento de faces humanas usando redes neurais MLP, Dissertação, Escola de Engenharia de São Carlos, USP Universidade de São Paulo. [5] YANG, M. H.; KRIEGMAN, D. J.; AHUJA, N. (2002). Detecting Faces in Images: A Survey, IEEE Transactions on Pattern Analysis and Machine Inteligence. Vol 24, no. 1. [6] HAYKIN, S. (2001), Redes Neurais: princípios e prática, Editora Bookman. [7] HSU, R.; ABDEL-MOTTALEB, M.; JAIN, A. K. (2002). Face detection in color images, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 5, pp [8] ROWLEY, H. A.; BALUJA, S.; KANADE, T. (1998a), Neural network-based face detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, pp [9] ROWLEY, H. A.; BALUJA, S.; KANADE, T. (1998b), Rotation Invariant Neural Network-Based Face Detection, IEEE Proceedings on Computer Vision and Pattern Recognition. [10] LOPES, E. C. (2005). Detecção de Faces e Características Faciais, Relatório Técnico, Pontifícia Universidade Católica do Rio Grande do Sul PUCRS. [11] GONZALES, R. C.; WOODS, R. E. (2000), Processamento de Imagens Digitais, Editora Edgard Blücher.