Color Eyes Detector. Duarte Petiz. DCC/FCUP

Tamanho: px

Começar a partir da página:

Download "Color Eyes Detector. Duarte Petiz. DCC/FCUP"

Stella Fagundes Carrilho
6 Há anos
Visualizações:

1 Color Eyes Detector Duarte Petiz DCC/FCUP Resumo Este relatório descreve a implementação da aplicação desenvolvida Color Eyes Detector bem como mostra os resultados finais da execução da mesma. 1 Introdução No âmbito da cadeira de Visão Computacional eu propus-me a desenvolver uma aplicação, denominada de Color Eyes Detector. Esta aplicação tem como objetivo fulcral a deteção da cor de olhos de fotografias de humanos, partindo de uma fotografia não de um olho em si, mas sim do corpo inteiro de um humano. 2 Preliminares 2.1 Visão Computacional Visão computacional introduz alguns conceitos como a tecnologia de captação de imagens, técnicas básicas de processamento de imagem e vídeo e reconhecimento de padrões. 2.2 Definição do Problema Hoje em dia todos possuímos uma câmara, seja esta uma câmara fotográfica, ou simplesmente um telemóvel com câmara embutida. O objetivo desta aplicação é a utilização de alguns algoritmos de manipulação de imagens, e com estes, conseguir definir a cor de olhos de uma pessoa para uma dada fotografia escolhida pelo utilizador. 2.3 Trabalho Relacionado A Visão Computacional e, nomeadamente a necessidade de software para responder às necessidades dos diversos utilizadores e programadores, levou ao desenvolvimento de software que auxiliasse a manipulação de imagens. OpenCV (Open Source Computer Vision Library) [3] é uma biblioteca open source de visão computacional que usa aprendizagem de máquina (learning machine). O OpenCV foi desenvolvido para facilitar o desenvolvimento de aplicações

2 2 de visão computacional e acelerar o uso de perceção de máquinas. Sendo um produto licenciado BSD, OpenCV torna mais fácil os programadores utilizarem e modificarem o código. A biblioteca OpenCV conta com mais de 2500 algoritmos otimizados, sendo alguns dos mais utilizados a deteção de rostos e olhos, identificação de objetos ou classificação de ações humanas em vídeo. 3 A Aplicação 3.1 Detalhes da Implementação A aplicação foi totalmente desenvolvida em JAVA. A linguagem utilizada devese ao meu melhor conhecimento da mesma em relação às outras existentes bem como o grande apoio à mesma que atualmente se encontra disponível e partilhado de forma online. As estruturas existentes e já implementadas em java, como listas, são algo que também ajuda imenso no desenvolvimento de uma aplicação. 3.2 Uso do OpenCV Recorri às bibliotecas do OpenCV para dois passos fulcrais neste trabalho: Deteção de rosto Deteção dos olhos no rosto Embora tenha utilizado a biblioteca do OpenCV, é importante saber o que está por detrás da mesma, ou seja, conhecer um pouco como esta funciona. O OpenCV baseia-se no modelo de deteção de objetos usando Haar baseado em classificadores em cascata. É uma abordagem baseada em aprendizagem de máquina (machine learning) onde uma função cascata é treinada e ensinada a partir de um conjunto de imagens positivas e negativas. Em seguida, é utilizado o classificador em cascata para detetar objetos em outras imagens. Este modelo foi proposto por Paul Viola e Michael Jones [4]. Deteção de rosto Para a deteção de rosto em especifico, o algoritmo inicialmente necessita de um aglomerado de imagens positivas, isto é, imagens de rostos, e imagens negativas, isto é, imagens sem rostos, para que se possam extrair as características do aglomerado de imagens fornecidas para a aprendizagem de máquina. As características de haar são visíveis na figura 1. Estas características são vistas como o nosso convolutional kernel. Cada característica extraída é um valor unico obtido através da subtração da soma de pixeis sob o retângulo branco pela soma de pixeis sob o retângulo preto. Entre todas as características calculadas, a maior parte é irrelevante, uma vez que o interesse assenta-se no rosto e não fora dele. Para isso, é preciso encontrar as características que são relevantes. E como se consegue isso? Por exemplo, para a imagem 2 é possível verificar que com o classificador a primeira característica selecionada baseia-se na propriedade de os olhos serem

3 mais escuros do que o nariz e do que as bochechas. A segunda característica baseia-se no facto de os olhos serem mais escuros do que a ponte do nariz. Figura 1.

3 3 mais escuros do que o nariz e do que as bochechas. A segunda característica baseia-se no facto de os olhos serem mais escuros do que a ponte do nariz. Figura 1. Características de Haar No entanto, são sempre encontradas caraterísticas irrelevantes, e para serem excluídas, o OpenCV usa AdaBoost: é um método particular de treinar um classificador. Para isso aplicam-se todas as características a cada imagem de treino e, para cada caraterística ele encontra o melhor limiar que classificará as imagens rosto de treino, como positivas ou negativas. Surge assim o conceito de Cascade of Classifiers para o OpenCV. Em vez de se aplicarem todas as características a uma imagem, aplicam-se de forma gradual, como se fosse por níveis, ou seja, uma cascata. Caso desça do primeiro nível até ao ultimo, encontra-se o rosto. O OpenCV possui características e 38 etapas de classificação. O ficheiro que contem todas estas características e etapas de classificação é o haarcascade frontalface default.xml. Figura 2. Classificadores de Haar Deteção de olhos Para a deteção de olhos, o OpenCV procede exatamente do mesmo modo que para o rosto, mudando apenas o ficheiro que contem as caracteristicas de rostos e etapas de classificação. Para os olhos utiliza-se o ficheiro haarcascade eye.xml.

4 4 3.3 Funcionalidade Após a deteção do rosto e a consequente deteção dos olhos, é criada uma outra imagem auxiliar com a segmentação do olho. Este passo é feito porque é mais fácil pensar e manipular uma imagem o mais simplificada possível, eliminando o desnecessário. Então, partindo da imagem do olho segmentado, é possível concluir que, dividindo a imagem em 4 partes(visível nas Figs: 4, 5, 6, 7 ), o olho, e mais propriamente a íris em si encontra-se repartido pelos 4 cantos da imagem dividida. Posto isto, o que se faz é selecionar alguns pixeis de cada imagem dividida e, fazendo uma mediana, e posteriormente uma média dos pontos recolhidos, é possível concluir qual o código RGB da cor de olho. Por exemplo na figura3, dado o olho extraído de uma das imagens utilizadas, é possível verificar a análise descrita. Figura 3. Segmentação feita do olho de uma imagem utilizada Figura 4. Parte da divisão do olho Figura 5. Parte da divisão do olho

5 5 Figura 6. Parte da divisão do olho Figura 7. Parte da divisão do olho Após obtida a média do RGB da íris referente ao olho do humano o que é feito é a criação de uma imagem usando o RGB obtido para que seja possivel visualizar a cor a um tamanho maior em relação ao olho e se possa de facto concluir se a cor está correta ou não de acordo com a observação da imagem completa do olho. É também transformado o código RGB no nome da cor. O algoritmo utilizado para tal baseia-se numa lista de cores [2] e é da autoria de Xiaoxiao Li [1]. 4 Resultados Os resultados obtidos são muito satisfatórios, pois a cor de olhos das imagens submetidas foram detetadas com sucesso. Para as fotografias 8 e 9 é possível visualizar os seguintes resultados na seguintes figuras 10 e 11 respetivamente:

6 6 Figura 8. Fotografia tirada ao professor Miguel Coimbra e utilizada na aplicac a o Figura 9. Fotografia da famosa modelo Lena utilizada na aplicac a o

7 Figura 10. Resultado da execução da aplicação para a fotografia do professor Miguel Coimbra 7

8 8 Figura 11. Resultado da execução da aplicação para a fotografia da modelo Lena

9 9 É de salientar que para aumentar a taxa de sucesso nos resultados, convém submeter uma fotografia com qualidade razoável. 5 Conclusão Neste relatório foi apresentada a aplicação Color Eyes Detector. Esta aplicação foi desenvolvida com sucesso e obteve resultados satisfatórios dos quais foram apresentados na secção anterior. Devido a este trabalho tornou-se possível compreender melhor os algoritmos de manipulação de imagem, que anteriormente ao serem lecionados na unidade curricular, eram totalmente desconhecidos da minha parte. Como trabalho futuro gostaria de desenvolver uma aplicação para as redes sociais utilizando esta aplicação já existente, para que ao ser submetida a fotografia para a rede social, adicionasse automaticamente à descrição da pessoa a cor de olhos.para além disso tenho o objetivo de otimizar ainda mais o código, para que este numa versão posterior não necessite de recorrer à biblioteca do OpenCV para detetar o rosto e olhos. Referências 1. Java class to look up a color name from the rgb values. nightlark/ #file-gistfile1-java, note = Accessed: List of colors 3. Bradski, G., Kaehler, A.: Learning OpenCV: Computer vision with the OpenCV library. O Reilly Media, Inc. (2008) 4. Viola, P., Jones, M.: Rapid object detection using a boosted cascade of simple features. In: Computer Vision and Pattern Recognition, CVPR Proceedings of the 2001 IEEE Computer Society Conference on. vol. 1, pp. I 511. IEEE (2001)

Documentos relacionados

SEMINÁRIO Visão Computacional Aluno: Afonso Pinheiro

SEMINÁRIO Visão Computacional Aluno: Afonso Pinheiro Detecting Pedestrians Using Patterns of Motion and Appearance *Paul Viola *Michael J. Jones *Daniel Snow Por que detectar pedestres? http://conexaopenedo.com.br/2016/02/sistema-consegue-detectar-pedestres-em-tempo-real/