Projeto - Sistema Multimídia 2014/2 Etapa 01 (N2)

Transcrição

1 1 FURB Universidade Regional de Blumenau DSC Departamento de Sistemas e Computação Grupo de Pesquisa em Computação Gráfica, Processamento de Imagens e Entretenimento Digital Disciplina: Sistemas Multimídia - prof. Dalton Solano dos Reis Projeto - Sistema Multimídia 2014/2 Etapa 01 (N2) Equipe (nomes): MARCUS / MARCELO / PEDRO Título: FREQUÊNCIA DE ALUNOS BASEADO NA BIOMETRIA FACIAL Problema/Dúvida: Para realizar a frequência dos alunos, é necessário efetuar a chamada nome a nome. Essa chamada se torna um trabalho repetitivo e braçal, tornando-se cansativo. Além de também utilizar um tempo que poderia ser utilizado com conteúdo de aula. Mas será que é possível substituir o processo tradicional por uma forma automática e com uma margem aceitável de qualidade. Objetivos: Realizar a frequência dos alunos presentes em tempo real, baseado na biometria facial, não necessitando efetuar nenhuma operação manual (chamada em voz alta, lista de frequência, entre outros). Relevância: Este trabalho torna o processo de frequência de chamada mais otimizado, pelo fato de não necessitar efetuá-lo manualmente. Outro ponto é a segurança, pois, a frequência é realizada baseada no reconhecimento facial (biometria facial) dos alunos, garantindo assim que somente seja efetuada a frequência se realmente o aluno estiver presente fisicamente. Hardware escolhido: Será utilizado o hardware câmera digital para capturar a imagem e posteriormente enviá-la para ser processada pelo software de reconhecimento implementado.

2 2 Etapa 02 (N3) A seguir serão descritos conceitos teóricos relacionados ao projeto de pesquisa proposto. 2.1 CENÁRIO DO TRABALHO PROPOSTO Este trabalho se propõe a criar um aplicativo que realiza o controle de frequências de alunos em uma determinada matéria, baseado na biometria facial do aluno. O aplicativo permitirá o cadastro de alunos, disciplinas e turmas. Sendo assim para iniciar o aplicativo basta somente informar a turma na qual ele irá realizar a frequência, esta turma será de uma determinada disciplina e terá vários alunos. 2.2 TRABALHOS CORRELATOS Nesta seção serão apresentados os três trabalhos correlatos identificados, e suas principais características. Desenvolvimento de um Protótipo de Software de Reconhecimento Facial de Tempo Real para Registro Eletrônico de Ponto em Ambientes Indoor com Utilização do Dispositivo KINECT (GUIMARÃES, 2013). RedFace: Um Sistema de Reconhecimento Facial para Identificação de Estudantes em um Ambiente Virtual de Aprendizagem (DINIZ et.al, 2012). Autenticação Biométrica de Usuários em Sistemas de E- Learning Baseada em Reconhecimento de Faces a Partir de Vídeo (PENTEADO, 2009) Desenvolvimento de um Protótipo de Software de Reconhecimento Facial de Tempo Real para Registro Eletrônico de Ponto em Ambientes Indoor com Utilização do Dispositivo KINECT Este trabalho busca utilizar o hardware Kinect em conjunto com a biblioteca Open CV e técnicas de reconhecimento facial, para criar um software de registro eletrônico de ponto baseado no reconhecimento facial. O uso do sensor Kinect auxilia no reconhecimento facial, pois, são utilizadas imagens RGB-D (RED, GREEN, BLUE e DEPTH) que são imagens que o Kinect consegue capturar e disponibilizar para análise neste trabalho RedFace: Um Sistema de Reconhecimento Facial para Identificação de Estudantes em um Ambiente Virtual de Aprendizagem O RedFace é um software que se integra com o sistema AVA para realizar o reconhecimento facial de alunos baseado na imagem da webcam e comparando com um

3 3 banco de dados de imagens previamente cadastrado. O objetivo é realizar a frequência dos alunos em atividades propostas dentro do ambiente virtual. Para isso, utilizou-se o algoritmo Viola-Jones (Viola; Jones, 2004) para a detecção da face, e as técnicas de Análise de Componentes Principais (PCA) (Stan; Anil, 2011, Romdhani,1996) e Eigenfaces (Stan; Anil, 2011, Romdhani, 1996, Jiangsheng, 2002) no processo de extração de características da face. Na classificação das imagens, foi usado o classificador K-Nearest Neighbors (K-NN) (Jiangsheng, 2002) (DINIZ et.al, 2012). Para analisar os resultados do trabalho, foi ativado no AVA o monitoramente on-line através da webcam. Nos testes foram alterados parâmetros e técnicas de reconhecimento afim de obter o melhor resultado. Ao final dos testes, foi identificado que a melhor taxa de acerto foi de 89,9 % para imagens de resolução 120 x 90 e 90,63% para imagens com resolução 32 x 64 (DINIZ et.al, 2012) Autenticação Biométrica de Usuários em Sistemas de E-Learning Baseada em Reconhecimento de Faces a Partir de Vídeo Este trabalho utiliza o reconhecimento facial para realizar a frequência de alunos em ambientes E-Learning (ensino a distância). Se baseando que a imagem/biometria facial é de fácil coleta através de webcam instalada no computador dos alunos que frequentam a aula virtual. Ao final do trabalho são apresentados os resultados, baseados nas técnicas utilizadas e observando características como falsos positivos, tamanho das imagens, tempo de processamento. O trabalho conseguiu atingir uma taxa de 10% falsos positivos e 90% de acertos nas faces analisadas (PENTEADO, 2009). No Quadro 1 pode ser observado as principais características entre o trabalho proposto e os correlatos. Marcado com X para se atende a característica. Características Proposto GUIMARÃES DINIZ PENTEADO reconhecimento facial em vídeo X X X integração com AVA X uso de Kinect X controle de frequência X X X Quadro 1 proposto versos correlatos 2.3 CONCEITOS RELACIONADOS A SISTEMAS MULTIMÍDIA No decorrer do desenvolvimento do trabalho serão utilizadas técnicas de

4 4 processamento de imagens, a fim de extrair características das faces a serem reconhecidas, como: distância entre olhos, boca e nariz, formato do rosto, entre outros. Para captura das imagens para posterior processamento, optamos por utilizar webcam ou câmeras de filmagem integradas ao computador, podendo até explorar recursos como: fotografias noturnas, filtros, entre outros. 2.4 AMBIENTES UTILIZADOS NO DESENVOLVIMENTO O trabalho utilizará a linguagem C++ em conjunto com a IDE Code Blocks. Para aplicar as técnicas de reconhecimento facial será utilizado a biblioteca Open Source (código aberto) Open CV e sua implementação chamada Face Recognition. Com base na implementação Face Recognition este trabalho irá explorar os dois principais algoritimos para reconhecimento de características faciais, o Eigen Faces e Fisher Faces, além de algoritimos para treinos baseados nas características obtidas por estes. 2.5 REQUISITOS PRINCIPAIS DO PROBLEMA A SER TRABALHADO Requisito funcional (RF): O sistema deve permitir o cadastro de alunos e seu respectivo conjunto de imagens; RF: O sistema deve permitir o cadastro de turmas; RF: O sistema deve permitir associar um aluno a uma turma; RF: O sistema deve permitir realizar a frequência do aluno baseado na sua biometria facial; RF: O sistema deve permitir escolher qual algoritimo será utilizado para treino/modelo, Eigen Faces ou Fisher Faces; Requisito Não funcional (RNF): Deve ser utilizado webcam ou câmera externa acoplada ao computador, para capturar a imagem do aluno; RNF: O sistema deve utilizar os algoritimos de treino/modelo para reconhecimento de características em face Eigen Faces e Fisher Faces; RNF: O sistema rodará no sistema operacional Windows 7 ou superior; RNF: O sistema será construído na linguagem C++; RNF: O sistema deve utilizar a biblioteca Open CV e sua implementação para reconhecimento facial; RNF: Deve ser utilizado o sistema onde exista uma luz incidente sobre o hardware da câmera, em uma área de até 2 m de distância;

5 5 2.6 ESPECIFICAÇÃO Os fluxos abaixo descrevem o funcionamento do sistema, desde sua inicialização:

6 6

7 7 Etapa 03 (N4) A seguir serão descritos conceitos relacionados com a implementação do projeto de pesquisa proposto. 3.1 IMPLEMENTAÇÃO A implementação do trabalho foi baseado na biblioteca Open CV, abaixo estão os trechos de códigos do sistema e sua breve explicação. read_csv(fn_csv, images, labels) : Neste trecho de código será realizada a carga das imagens em memória, para posteriormente serem utilizadas para o treino no modelo de reconhecimento utilizado; Ptr<FaceRecognizer> model : Neste ponto será especificado qual algoritimo/modelo será utilizado para o reconhecimento facial. o Eigen Faces: Procurar o vizinho mais próximo no conjunto de imagens treinadas. Tudo isso baseado em características que tem maior variânça nos dados, ou seja, ao invés de buscar caracteríticas comuns, busca características disparsas. o Fisher Faces: Baseado na análise descriminante, onde as características próximas devem estar em um grupo separado das características dispersas. Com bases nestes dois grupos é possível treinar o conjunto de imagens. o Local Binary Patterns Histograms: Através de diversas transformações de imagens em escalas de cinza, é possível extrair diversos histogramas e estes serem utilizados com características das imagens.

8 8 3.2 RESULTADOS E DISCUSSÃO Com base nos algoritimos utilizados e a implementação aqui descrita, obtivemos um resultado interessante relacionado ao reconhecimento facial. Identificamos que para um melhor resultado do algoritimo necessitamos ao menos de 6 a 9 fotos por pessoas em um mesmo ambiente (luz, câmera, etc). Como nossos testes foram realizados em um mesmo ambiente, resultamos em um melhor resultado utilizando o algoritimo Eigen Faces, pois, assim ele conseguia trabalhar melhor com as covarianças dos conjuntos de imagens. 3.3 CONCLUSÕES Concluímos que o reconhecimento facial não é trivial e depende de diversos fatores, estes que podem ou não atrapalhar muito no resultado final da implementação. Para isso devemos estar preparados antecipadamente e levantar o que será necessário tanto em hardware quanto em software para assim ter uma base estável para o uso do mesmo. 3.4 EXTENSÕES Existem diversas extensões que podem ser realizadas a partir deste trabalho, porém, a principal seria buscar identificar diversas imagens de uma mesma pessoa (reconhecimento da face) e após um x número de reconhecimentos buscar uma medida média, assim seria minimizado os impactos de um falso reconhecimento. Outra extensão interessante, seria a utilização dos novos reconhecimentos como base para atualização da base de dados de imagens e posterior treino, evitando assim problemas de mudanças nas faces baseados na idade ou outros fatores.

9 9 REFERÊNCIAS BIBLIOGRÁFICAS DREXEL UNIVERSITY. Eigen faces tutorial. Disponível em < Acesso em 15 de novembro. OPEN CV. Facial Recognition. Disponível em < Acesso em 12 de setembro. SHOLAR PEDIA. Fisher Faces. Disponível em < Acesso em 09 de outubro.

10 Avaliação N4 Geral Etapa 3 Avaliação N2 Etapa 2 Etapa 1 Peso Nota 10 FICHA DE AVALIAÇÃO ASPECTOS AVALIADOS Comentários: O problema está claramente formulado? O objetivo está claramente definido e é passível de ser alcançado? Apresenta um grau de relevância em computação que justifique o desenvolvimento? O cenário descrito demonstra aonde o trabalho está inserido? São apresentados 3 trabalhos correlatos? As principais características entre o trabalho proposto e os correlatos foram descritas? Conceitos relacionados a Sistemas Multimídia são suficientes e têm relação com o tema proposto? O ambiente a ser utilizado foi detalhado? Os requisitos a serem desenvolvido foram claramente descritos? É apresentado o diagrama/fluxograma e este é coerente com o trabalho proposto? São descritos os principais trechos de códigos utilizados na implementação? São apresentados os resultados dos testes/avaliações fazendo comentários sobre os mesmos? As conclusões/extensões estão descritas? As referências bibliográficas são apresentadas e obedecem às normas da ABNT? As informações retiradas de outros autores estão devidamente citadas no texto? A exposição do assunto é ordenada (organização, apresentação gráfica, idéias e linguagem)?