Sistema de Visão Computacional sobre Processadores com Arquitetura Multi Núcleos

Transcrição

1 Roberto Kenji Hiramatsu Sistema de Visão Computacional sobre Processadores com Arquitetura Multi Núcleos Tese apresentada à Escola Politécnica da Universidade de São Paulo para obtenção do Título de Doutor em Engenharia Elétrica. Área de Concentração: Sistemas Eletrônicos São Paulo 2008

2 Roberto Kenji Hiramatsu Sistema de Visão Computacional sobre Processadores com Arquitetura Multi Núcleos Tese apresentada à Escola Politécnica da Universidade de São Paulo para obtenção do Título de Doutor em Engenharia Elétrica. Área de Concentração: Sistemas Eletrônicos Orientador: Prof. Dr. Sergio Takeo Kofuji São Paulo 2008

3 Resumo Esta tese apresenta um estudo sobre a implementação de sistema de detecção e reconhecimento de faces no processador CELL na plataforma CBE, utilizando um sistema Playstation 3. Inicialmente, diversas abordagens para reconhecimento e detecção de faces são estudadas, bem como arquiteturas de processador multi núcleos. São apresentadas três implementação, sendo a segunda implementação premiada com quarto colocado no IBM CELL UNIVERSITY CHALLENGE 2007 para desenvolvimento de programas para plataforma Cell BE. A terceira implementação apresenta os resultados interessantes relacionados a vetorização do processamento dos dados da detecção de objetos e os recursos adotados para obter o melhor desempenho.

4 Abstract This thesis presents a study of face detection implementation on CBE plataform and employ the system with Playstation 3 hardware. Several approaches for face detection and recognition are studied as well as multicore processor architetures. We implemented three versions of system. First implementation was a naive reference implementation with worst performance. Second implementation granted fourth prize in IBM CELL UNIVERSITY CHALLENGE 2007 that incentive development on CBE plataform. Third implementation had most interesting results with vectorized approaches on code of object detection.

5 Agradecimentos Agradeço a minha família, aos colegas do LSI/USP, a FINEP e IBM pelo apoio contínuo a este trabalho. Agradeço ao professor doutor Sergio Takeo Kofuji pelo grande apoio e confiança dado a este trabalho.

6 Sumário 1 Introdução Tese Objetivo Hipótese Justificativa Motivação Metodologia Revisão bibliográfica Estrutura da tese Detecção de objetos e reconhecimento de faces Introdução Detecção de objetos Reconhecimento de faces Análise Linear Discriminante para reconhecimento de faces (LDA) Combinação de Grafos em Grupos Elásticos (EBGM) A plataforma CELL Broadband Engine, recursos e técnicas de programação paralela A arquitetura do Cell Broadband Engine Modelo de programação Modelo Offload de Função Acesso direto à Memória (DMA) e uso de múltiplo buffers Implementação do Sistema de visão computacional Estudo do problema da detecção de faces Implementação da Detecção de objetos Implementação inicial Segunda implementação: Carregando os classificadores para a memoria local da SPE Terceira implementação: Vetorização do estágio inicial Estratégia de geração de classificadores fortes Criação de classificadores com características combinadas Criação de classificadores fortes por redução do valor máximo falso alarme A otimização interna na SPE A vetorização dos classificadores Avaliações e discussão dos resultados Resultados da implementação dois Comparação do desempenho baseado em peso de processamento...52

7 5.3 Extensão da vetorização em múltiplos estágios Avaliação do processamento com distribuição em várias SPEs Comparação geral entre as implementações 2 e Conclusões Contribuições Limitações Trabalhos futuros...67

8 Índice de Figuras Figura 1: Esquema geral do sistema de identificação...6 Figura 2: Módulo de Rastreamento...8 Figura 3: Módulo de Reconhecimento LDA...9 Figura 4: Módulo de reconhecimento EBGM...9 Figura 5: Exemplo de características. Fonte:(VIOLA; JONES, 2001)...15 Figura 6: Esquema do cálculo de característica...16 Figura 7: Detector em cascata. O classificador inicial elimina grande parte das sub janelas negativas com rapidez. As camadas subseqüentes eliminam mais sub janelas, mas requerer processamento adicional...18 Figura 8: Uma característica Haar like combinada(mita; KANEKO; HORI, 2005)...19 Figura 9: O método proposto por (MITA; KANEKO; HORI, 2005)...19 Figura 10: Valor do poder de discriminação em uma parte horizontal do rosto. Fonte:(ETEMAD; CHELLAPPA, 1997)...22 Figura 11: Processo para criação do grafo da imagem. Fonte:(WISKOTT et al., 1997)...24 Figura 12: Esquema do processador Cell. Fonte:(KAHLE et al. 2005)...26 Figura 13: SPE em detalhes. Fonte:(FLACHS et al. 2006)...27 Figura 14: Sobreposição entre comunicação e processamento(chen at al. 2006)...29 Figura 15: Computação maior que comunicação(chen at al. 2006)...29 Figura 16: A janela do detector e as sub janelas formadas pelo detector sobre a imagem...30 Figura 17: Comparação do tempo de processamento a) redimensionamento da imagem b) redimensionamento da janela do detector c) redimensionamento da imagem com reestruturação do algoritmo...32 Figura 18: Buffer da imagem integral e janela do detector...36 Figura 19: Região de sombra entre duas SPEs...36 Figura 20: Distribuição de processamento entre as SPEs na terceira implementação...37 Figura 21: Esquema de enquadramento de um rosto...39 Figura 22: Os valores P1, P2, P3 e P4 em quatro subjanelas subseqüentes para uso em processamento vetorial...42 Figura 23: Processo para obter os vetores da integral de imagem de P1 e P2 corretos da memória Figura 24: Cálculo seqüencial da integral de imagem de um retângulo de uma característica 44 Figura 25: Paralelização do cálculo da integral de imagem de um retângulo de uma característica...44 Figura 26: Expandindo o corpo do laço e reduzindo contenção de barramento com o processamento de integral de imagem de dois retângulos. VCALC_SUMAB e

9 VCALC_SUMAB são desmembramento da soma de integral de imagem da VCALC_SUM apresentado na Figura Figura 27: Cálculo de atualização do somatório do classificador forte seqüencial...46 Figura 28: Cálculo de atualização do somatório do classificador forte vetorizado...46 Figura 29: Regiões descartadas das imagens em cada estágio da cascata de classificadores fortes...48 Figura 30: Speed Up sobre o Playstation 3 para uma imagem com 1024x Figura 31: Comparação dos peso de processamento cascata de classificadores fortes...52 Figura 32: Comparação entre resultados teóricos e práticos quanto ao Speed Up...54 Figura 33: Speed up com relação ao aumento do número de estágios vetorizados...56 Figura 34: Speed up em relação ao número de SPE...57 Figura 35: Speed up em relação ao número de SPEs. Valores relativos a 1 SPE com respectivos classificadores...58 Figura 36: Speed up em relação ao número de SPEs. Valores relativos a 1 SPE com respectivos classificadores...58 Figura 37: Comparação em relação a um P4 de 3GHz...62

10 Índice de Tabelas Tabela 1: Algumas aplicações típicas de reconhecimento de face. Fonte:(ZHAO et al., 2003)...13 Tabela 2: Comparação de speed up entre o algortimo no PS3 e no Simulador...50 Tabela 3: Cascata de classificadores usados...51 Tabela 4: Medidas de tempo entre implementação seqüencial e versão com vetorização no estágio inicial...53 Tabela 5: Relação de configurações de teste comparativo...59 Tabela 6: Comparação de desempenho com uma imagem de , subjanela mínima de 48 por

11 Lista de abreviaturas API Application Programming Interface CBE Cell Broadband Engine DMA Direct Memory Access EBGM Elastic Bunch Graph Matching FBG Face Bunch Grap LDA Linear Discriminant Analisys MFC Memory Flow Controller OpenCV Open Computer Vision Library PPE PowerPC Processor Element SDK Software Develop Kit SPE Synergistic Processor Element

12