Detecção de pedestres em imagens:

Transcrição

1 4 2 Distância Mahalanobis -2 0 w Distância Ortogonal w Detecção de pedestres em imagens: Uma nova abordagem baseada em redução de dimensionalidade e regras de detecção de outliers Fábio Ivan Maia Roque dos Reis Dissertação para a obtenção de Grau de Mestre em Matemática e Aplicações Júri Presidente: Prof. António Manuel Pacheco Pires Orientador: Prof. Alexandre José Malheiro Bernardino Co-orientador: Vogais: Prof. Maria da Conceição Esperança Amado Prof. Ana Maria Nobre Vilhena Nunes Pires de Melo Parente Prof. Jorge dos Santos Salvador Marques Outubro de 2011

2 ii

3 Dedico este trabalho a todos os que gostam de sonhar e atingir novas metas... iii

4 iv

5 Agradecimentos Quero agradecer aos que me são próximos, pois sem eles não teria conseguido terminar a tempo. Quero agradecer especialmente à Débora, por ter sido um grande suporte. Aos meus pais e, principalmente ao meu irmão que muito me ouviu, sendo sobre ele que caía a minha falta de paciência! Quero agradecer ao Chris, ao Artur e ao Dinis, pois sempre me deram força e questionavam o que fazia e demonstravam interesse sobre o meu trabalho. Por fim, mas sem menos importância, aos meus orientadores e ao Matteo que sem eles nada deste trabalho seria possível e atingível, a eles muito lhes devo, principalmente por terem acreditado que era possível. Agradeço a Deus por tudo... v

6 vi

7 Resumo O problema de detecção de peões ou pedestres em imagens digitais é uma área de investigação relativamente recente e de grande importância em sistemas de vigilância e segurança. Vários métodos têm vindo a ser propostos usando modelação dos contornos do pedestre, de forma local ou global, aliado a vários métodos de classificação. Neste trabalho é proposta uma nova abordagem à classificação utilizando uma pré-filtragem dos dados baseada num método de detecção de outliers aplicado às componentes principais de vectores descritores de aparência de pessoas em imagens. Uma vez que, na maior parte dos casos, a detecção de um pedestre em imagens é um acontecimento raro (de todas as sub-janelas possíveis de uma imagem, apenas uma pequena fracção contém exemplos positivos), esta pré-filtragem permite rejeitar de uma forma muito rápida uma grande quantidade de janelas de análise negativas, de forma análoga aos primeiros estágios de classificadores em cascata, acelerando os estágios posteriores de classificação. Face aos primeiros estágios de classificação frequentemente utilizados neste tipo de problemas (por exemplo classificadores fracos em boosting), a metodologia proposta tem a vantagem de só necessitar de exemplos positivos e utilizar rotinas numéricas de análise de componentes principais muito eficientes e, portanto, ter tempos de treino muito reduzidos. Neste trabalho mostrar-se-á que a abordagem proposta usando descritores de imagem do tipo histogramas de orientação de gradientes (HOG), tem desempenhos semelhantes ao estado-da-arte mas com tempos de treino várias ordens de grandeza mais curtos. Palavras-chave: análise de componentes principais, cascata de classificadores, detecção de outliers, HOG, reconhecimento de pedestres. vii

8 viii

9 Abstract The problem of pedestrian detection in digital photographs is a relatively recent investigation area and it is of great importance to vigilance and security systems. Several classification methods have been proposed using pedestrian edges, both locally and globally. In this work it is proposed a new approach to the classification using a pre filtration of the data based on a outlier detection method applied over the principal components calculated for the descriptor vectors of the pedestrians shape in digital photographs. Since a pedestrian detection in images is a rare event (of all the windows possibles of an image, only a fraction of this are positive examples), applying the pre filtration it is possible to quickly reject an high number of negative examples, as in the first stages of cascade structured classifiers, speeding the proceedings stages of the classification. Although, compared to the usual first stages of classification used in this type of problems (for example weak classifiers in boosting), the proposed methodology has a quicker training time as it only uses positive examples and quick, and efficient, numerical routines for the principal components analysis. In this work it will be shown that the proposed approach, using the histogram of oriented gradients image descriptor, has similar performances to the state of the art but with training times several times faster. Keywords: cascade of classifiers, HOG, outlier detection, pedestrian detection, principal components analysis. ix

10 x

11 Índice Agradecimentos v Resumo vii Abstract ix Lista de Tabelas xiii Lista de Figuras xvi 1 Introdução 1 2 Extracção de Características e Classificação Extracção de Características Tons-de-cinza Equalização de histograma para imagens em escalas de cinza Filtro Gaussiano Detecção de arestas Histograma da orientação de gradientes Classificação Adaboost Redução de dimensionalidade e regras de detecção de outliers Redução de dimensionalidade Detecção de outliers Resultados Análise da base de dados Metodologia Metodologia - Classificação Metodologia - Detecção e Classificação Avaliação Resultados - Classificação Resultados - Classificação e Detecção Resultados - Tempo de processamento Método Escolhido xi

12 4.6.1 Algoritmo Conclusões Conquistas Trabalho Futuro xii

13 Lista de Tabelas 1.1 Tabela descritiva dos pontos positivos e negativos das abordagens estudadas Sumário estatístico da base de dados INRIA person dataset Sumário estatístico dos pedestres na base de dados INRIA person dataset Descrição das dimensões dos conjuntos de treino, validação e teste para a avaliação da classificação de uma janela Descrição das dimensões dos conjuntos de treino, validação e teste para a avaliação da detecção e classificação de janelas em imagens Tabela com a nomenclatura utilizada na classificação Tempos médios de classificação de uma janela em cada método e descritor xiii

14 xiv

15 Lista de Figuras 2.1 Ilustração da transformação para tons-de-cinza de uma imagem colorida Ilustração do modelo aditivo RGB Imagem com um histograma mal distribuído na gama de cinzentos Equalização do histograma de uma imagem com um histograma mal distribuído Realce de ruído ao aplicar uma equalização de histograma Imagem da Lena aplicada de diferentes filtros gaussianos Imagem ilustrativa de um filtro gaussiano contínuo e o discreto equivalente Ilustração dos vários passos do processo de extracção de arestas Sobel a duas dimensões Divisão de uma imagem em células e blocos, no ambiente de HOG Figura ilustrando uma visualização dos histogramas por célula numa dada imagem Pseudo-código do método de extracção de descritores de uma imagem Diagrama de um classificador em cascata Exemplo de um classificador fraco baseado em divisões ortogonais Ilustração do conceito de distância ortogonal e de Mahalanobis Ilustração dos métodos aplicados na fase de pre-processamento de uma dada imagem, no cenário Gauss Ilustração da imagem correspondente à média do conjunto MIT e o resultado de remover esta média a uma nova imagem Ilustração de nove componentes principais calculadas sobre o conjunto MIT Ilustração da energia acumulada associada às várias componentes principais Ilustração da dispersão dos dados face a dois valores de k e os respectivos limiares de decisão Imagem que ilustra as propriedades dos exemplos positivos no conjunto de treino dos dados INRIA person dataset Gráficos de FPPJ e Sensibilidade vs. número de componentes no classificador proposto, estudo de Classificação Ilustração do conjunto de validação sobre as distância de Mahalanobis e ortogonal no décimo nono cenário, no estudo de classificação. Para k = 1 e k = xv

16 4.4 Gráficos de ROC Sensibilidade vs. falsos positivos por janela face à variação dos valores de p 1 e p 2, para k = 1 e k = 85 componentes principais, no método proposto neste trabalho Ilustração do conjunto de validação sobre as distância de Mahalanobis e ortogonal no décimo primeiro cenário, no estudo de classificação. Para k = 1 e k = Histograma dos valores de sensibilidade atingidos nos dois métodos abordados, em cada um dos cenários Histograma dos valores de FPPJ atingidos nos dois métodos abordados, em cada um dos cenários Ilustração do conjunto de teste sobre as distância de Mahalanobis e ortogonal no oitavo cenário, no estudo de classificação Gráficos de ROC da Sensibilidade vs. FPPJ e FPPI face à variação dos valores de p 1 e p 2, para k = 1 componentes principais, no método proposto neste trabalho Ilustração do conjunto de validação sobre as distância de Mahalanobis e ortogonal no décimo primeiro cenário, no estudo de classificação e detecção Ilustração do conjunto de validação sobre as distância de Mahalanobis e ortogonal no décimo nono cenário, no estudo de classificação e detecção Histograma dos valores de sensibilidade e FPPJ atingidos nos dois métodos abordados, em cada um dos quatro cenários finais, no estudo de classificação e detecção Histograma dos valores de FPPI atingidos nos dois métodos abordados, em cada um dos quatro cenários finais, no estudo de classificação e detecção Ilustração do conjunto de validação sobre as distância de Mahalanobis e ortogonal no décimo primeiro cenário, no estudo de classificação e detecção Ilustração do conjunto de validação sobre as distância de Mahalanobis e ortogonal no décimo nono cenário, no estudo de classificação e detecção Dimensão do treino vs. Tempo de treino em minutos em ambos os métodos estudados. 59 xvi

17 Capítulo 1 Introdução Nesta tese pretende-se estudar o problema de detecção de pedestres em fotografias digitais. Este é um problema de grande relevância e aplicação prática em vários domínios, desde a vigilância à segurança automóvel. Apesar de, para os seres humanos, a detecção de pedestres (ou objectos em geral) ser bastante fácil e intuitiva, para um computador ainda encerra grandes dificuldades. Uma fotografia digital a cores (tipicamente vermelho, verde e azul) é representada num computador como uma matriz uma matriz 3 n m-dimensional, onde n e m indicam, respectivamente, o número de píxeis horizontal e vertical da fotografia. Desta forma, o computador não interpreta uma fotografia, como um ser humano interpreta/vê, mas sim como uma matriz e, portanto, não existe forma concreta de identificar um determinado conceito numa fotografia, como por exemplo: um pedestre ou uma bola. Como tal, o problema de identificação de conceitos/objectos numa fotografia é bastante difícil e por isso é geralmente abordado localmente, ou seja, para um conceito/objecto específico. A detecção de pedestres, ou outros objectos, em fotografias digitais é geralmente feito com recurso a métodos numéricos, quer determinísticos, quer estatísticos. Estes métodos executam uma extracção de características (descritores) das imagens e sobre estes descritores é aplicado um método de classificação. Este trabalho propõe uma nova abordagem à classificação de pedestres, sendo esta baseada na detecção de outliers após uma análise de componentes principais da distribuição de características das imagens de treino. As regiões de imagem potencialmente contendo pedestres são representadas através de vectores de características (descritores) de tamanho fixo, que são posteriormente classificados em exemplos positivos (contendo pedestres) ou negativos (não contendo pedestres). O descritores que melhores resultados proporcionou é baseado em histogramas da orientação de gradientes (HOG) Dalal and Triggs [2005]. O classificador obtido neste trabalho, cujo desempenho será avaliado sobre a base de dados INRIA Person Dataset, utiliza informação dada pelos exemplos positivos de um conjunto de dados e não deverá ser comparado com classificadores complexos que usam exemplos positivos e negativos. No entanto, poderá servir para uma rejeição prévia de grande parte dos negativos (considerados como outliers), sendo por isso adequado para os primeiros níveis de uma estrutura de classificadores em cascata. Em comparação com classificadores fracos comuns treinados através de boosting, 1

18 o método proposto apresenta desempenhos comparáveis mas é muito mais rápido de treinar devido a não necessitar de exemplos negativos e de utilizar rotinas eficientes de análise de componentes principais. Será portanto mais adequado em contextos onde o tempo disponível para o treino do classificador é limitado, por exemplo quando se pretendem incorporar, em tempo real, novos exemplos de treino. Motivação O problema de detecção de pedestres em fotografias surge no âmbito de detecção automática de pedestres para viaturas. Pretende-se criar um método que detecte automaticamente pedestres em imagens, por forma a poder avisar o condutor ou activar um sistema de segurança, e evitar assim um possível acidente. Este problema está igualmente associado à vídeo-vigilância de centros comercias, na detecção automática de pessoas para softwares de tratamento de imagens como Photoshop c, entre outros. Trabalho Relacionado Nesta secção ir-se-á expor, de uma forma geral, algumas abordagens recentes, que têm vindo a ser propostas no âmbito de reconhecimento de padrões em imagem. Esta análise permitirá identificar quais as melhores abordagens a este problema e como construir, melhorar e comparar, uma nova abordagem. Este estudo permitirá também, escolher qual a melhor base de dados para ser utilizada na construção do novo método. A descrição dos trabalhos irá ser seccionada em duas partes, uma sobre descritores, outra sobre classificação, e, em cada uma delas, ordenadas cronologicamente do mais antigo para o mais recente. Descritores Felzenszwalb and Huttenlocher, 2000, Efficient Matching of Pictorial Structures O método apresentado em Felzenszwalb and Huttenlocher [2000] utiliza o conceito de estrutura para descrever um objecto, neste caso, uma pessoa. Cada componente desta estrutura identifica partes mais simples do objecto, por exemplo: antebraços; coxas; cabeça; peito; abdómen. Na estrutura está definido um modelo base que interliga todas as componentes, através de uma função Mola. Esta função permite que cada componente possa variar ligeiramente de objecto para objecto, ou seja, que cada pessoa possa ter uma pose diferente, p. ex. sentada, inclinada, em pé. A identificação/reconhecimento de cada parte do objecto é realizado através da cor. O modelo base associado à estrutura define qual a cor associada a cada parte do objecto. Serão agora expostos alguns pontos fortes e fracos identificados neste método, face ao pretendido para esta tese. Foram detectados como pontos fortes as seguintes propriedades: a robustez deste método face a alterações geométricas do objecto a classificar, sendo possível classificar variadas poses; fácil generalização a outras classes de objectos, sendo apenas necessário especificar uma nova estrutura que melhor englobe as propriedades gerais do objecto de 2

19 interesse; identificação de objectos recorrendo a um modelo qualitativo. Os pontos fracos detectados, no âmbito desta tese, foram os seguintes: método fortemente dependente da cor/iluminação presente na imagem face ao da estrutura, e.g. uma pessoa com uma roupa laranja não é identificada correctamente por uma estrutura cuja cor, designada para detecção, é o amarelo; e a necessidade da utilização de um modelo qualitativo para identificação dos objectos. Dalal and Triggs, 2005, Histograms of Oriented Gradients for Human Detection No trabalho de Dalal and Triggs [2005] os autores introduziram um novo espaço de descritores designados por Histogram of Oriented Gradients, doravante HOG. O artigo assenta sobre o estudo do desempenho deste descritor face a outros, na altura métodos recorrentes, assim como quais os parâmetros que maximizam o desempenho na detecção de pessoas. É também analisado o impacto de vários processamentos, sobre as imagens, no desempenho do classificador como por exemplo a equalização de histogramas. Neste artigo os autores optaram por um classificador simples, Support Vector Machine, que visa encontrar o hiperplano no espaço de descritores que melhor separe objectos positivos de negativos, maximizando a distância entre estes. Este método, face aos demais apresentados pelos autores, tem um desempenho superior. Como pontos fortes, tem-se: robusto a diferentes iluminações numa mesma imagem. Como aspectos negativos: tal como o caso anterior, a utilização deste método para outras classes de objectos requer que se treine o classificador, assim como afinar manualmente alguns parâmetros que foram optimizados apenas para a detecção de pessoas; caso os objectos de interesse, neste caso pessoas, estejam em poses diferentes das que se encontram no conjunto de treino, por exemplo pessoas sentadas ou deitadas, o método não as conseguirá detectar; dificuldade associada à implementação do método de extracção de descritores. Zickler and Efros, 2007, Detection of multiple deformable objects using PCA-SIFT Os autores Zickler and Efros [2007] tentam criar um método que identifique objectos que sejam comuns entre um conjunto de imagens. Estas imagens podem ser de locais diferentes ou descreverem uma mesma cena de ângulos diferentes entre si. O descritor utilizado para este efeito é designado por Scale Invariant Feature Transform (SIFT). Este descritor tem um custo computacional significativo dificultando assim a implementação em sistemas com componentes de custo reduzido, e.g. telemóveis/sistema de detecção automóvel. Os autores, para combater este aspecto negativo, aplicaram análise de componentes principais para reduzir a dimensionalidade do descritor. Este descritor identifica pontos chaves - key points, ou seja, zona de píxeis que contenham informação relevante. Para a detecção de um dado objecto, numa nova imagem, é realizado uma procura de pontos chaves nesta. As zonas que possuem pontos chaves semelhantes entre si e aos apresentados no conjunto de treino são aglomeradas e é feito um estudo de associação. Caso a associação seja forte é feita uma detecção do objecto de interesse. Este tipo de detecção foi aplicado na procura de robots em diferentes poses e num ambiente de jogo de futebol de robots. Novamente, foram analisados os aspectos positivos e negativos. Os seguintes aspectos foram considerados como positivos: rapidez de detecção do objecto 3

20 de interesse numa nova imagem; conjunto de treino de dimensões reduzidas; carácter local do método, ou seja, utilização da informação da cor/iluminação em pequenas janelas da imagem. Como aspectos negativos: o carácter local do método, visto que, caso o objecto de interesse contenha uma grande variação em cor e/ou iluminação de imagem para imagem, o método não o conseguirá identificar correctamente, dependendo das características presentes no conjunto de treino; existe a necessidade de o objecto em causa ter alguma complexidade geométrica e/ou diferenças na sua textura, por forma a facilitar a detecção de pontos de interesse/pontos chave; o artigo explorou o método numa classe de objectos com poucas diferenças intra-classe o que não é uma propriedade existente nos seres humanos. hong Liang et al., 2007, Pedestrian Detection using KPCA and FLD Algorithms Em hong Liang et al. [2007] é proposto um novo descritor que consiste na aplicação do método KPCA, kernel Principal Component Analysis, ao descritor baseado em haar wavelet tentando assim reduzir a sua dimensionalidade. Após o cálculo deste novo descritor os autores aplicam o método de discriminante de Fisher linear como método de classificação, projectando este descritor numa única dimensão tentando maximizar a separação entre os exemplos positivos e os exemplos negativos, minimizando a variação existente em cada uma das classes. Na análise de desempenho o método proposto é comparado a um método baseado em Support Vector Machines e a um método baseado em Feed Forward Neural Networks, ambos apoiados sobre o descritor haar wavelet. Como pontos positivos identificados: tempo de treino reduzido, face aos métodos apresentados; redução do tempo de processamento, e memória, associado aos descritores originais. Como pontos negativos: a escolha do número de componentes a ter em conta. Felzenszwalb et al., 2010, Object Detection with Discriminatively Trained Part-Based Models Em Felzenszwalb et al. [2010] é proposto um método de extracção de descritor baseado num modelo dividido em partes sobre o descritor HOG. Este modelo por partes tem como objectivo capturar e ajudar na identificação de objectos que tenham uma grande variabilidade, como o caso de pedestres. O método de detecção proposto pelos autores está dividido em duas fases, a primeira fase consiste na procura das janelas que possam corresponder à classe de interesse, a segunda fase consiste na procura das janelas que possam corresponder, identificar, partes do modelo associado à classe de interesse. Por exemplo, no caso de detecção de pedestres, a primeira fase procura o local, ou os locais, onde possa existir uma pessoa utilizando para tal o modelo completo da pessoa, a segunda fase procura os locais onde existe a possibilidade de ocorrer as várias partes constituintes do modelo da pessoa, braços, cabeça, pernas e pés. Por fim a resposta a cada uma das fases é combinada devolvendo uma resposta final com a, ou as, possíveis localizações do objecto de interesse. Os autores recorrem a uma redução de dimensionalidade, por meio da análise de componentes principais, para reduzir a alta dimensionalidade associada ao descritor HOG. Como pontos positivos identificados: a robustez deste método face a alterações geométricas do objecto a classificar, sendo possível classificar variadas poses 4

21 e a diferentes escalas; o elevado número de parâmetros a ajustar permite um maior controlo sobre o desempenho obtido. Como pontos negativos tem-se: complexidade associada à implementação do descritor e classificador; dificuldade em encontrar os parâmetros que maximizem o desempenho, devido ao número elevado de parâmetros; necessidade de implementar um processo extra, na fase de treino, para a identificação/selecção das partes que maximizem o desempenho final. Classificadores Huang et al., 2004, Boosting Nested Cascade Detector for Multi-View Face Detection Em Huang et al. [2004] os autores recorrem a cinco classificadores para detectar faces humanas, um para cada uma das cinco orientações diferentes da face consideradas. Estes classificadores são organizados por níveis, cascata, em que a imagem é classificada em cada nível e apenas se passar todos os níveis é classificada como positivo. Caso a imagem falhe na passagem de algum dos níveis, é automaticamente classificada como falsa. Novamente, tentou-se identificar os pontos fortes e fracos deste trabalho. Os pontos fortes identificados foram: rapidez de processamento de uma nova imagem, podendo ser utilizado em tempo real (quasi-tempo real); controlo directo sobre a robustez do método, fazendo variar o número de camadas da cascata de classificadores, assim como quais classificadores a usar. Como pontos negativos identificados: complexidade da implementação do classificador; complexidade temporal do treino do classificador; e impossibilidade de generalização a outros objectos sem ser necessário re-treinar um novo classificador. Malagón-Borja and Fuentes, 2009, Object detection using image reconstruction with PCA Em Malagón-Borja and Fuentes [2009] é apresentado um método de detecção de pedestres baseado no cálculo de erros de reconstrução associado a um estudo prévio de análise de componentes principais. Neste trabalho os autores consideram como descritores de pedestres a intensidade dos píxeis, em tons de cinzento, juntamente com os contornos associados a cada pedestre. Sobre o conjunto de treino descrito à custa dos dois descritores, intensidade dos tons de cinzento e os respectivos contornos, é elaborada uma análise de componentes principais sobre os exemplos positivos e os exemplos negativos em separado. Obtendo assim quatro subespaços diferentes, dois subespaços associados às componentes principais calculadas sobre a intensidade dos tons de cinzento e sobre os contornos dos exemplos positivos, os dois últimos subespaços estão associados às componentes principais calculadas sobre a intensidade dos tons de cinzento e sobre os contornos dos exemplos negativos. Dada uma nova imagem, o classificador proposto pelos autores irá calcular os descritores, ou seja, o primeiro será a respectiva imagem em tons de cinzento, e o segundo a respectiva imagem de contornos. Estes descritores serão projectados sobre o subespaço respectivo nos exemplos positivos e negativos. Após a projecção é calculado o erro associado à recuperação da imagem utilizando cada uma das quatro projecções. Por fim, o classificador irá classificar como positivo se o erro total de recuperação associado aos subespaços gerados pelos exemplos positivos for menor que o erro total de recuperação associado aos subespaços gerados pelos exemplos negativos. O desempenho deste classificador é então com- 5

22 parado a um classificador baseado em Support Vector Machines, onde o classificador proposto obtém resultados superiores ao segundo. No entanto os autores combinam os dois classificadores, onde o desempenho é superior aos dois individualmente. Os pontos fortes identificados foram: descritores simples e de cálculo rápido; classificador, baseado em erros de reconstrução, de implementação simples; vários parâmetros para optimização consoante o tipo de desempenho pretendido. Como pontos negativos: a escolha do número de componentes principais a utilizar que maximize o desempenho. Schwartz et al., 2009, Human Detection Using Partial Least Squares Analysis Em Schwartz et al. [2009] é apresentado um método baseado em Partial Least Squares - PLS, para a redução de dimensionalidade, e na análise de discriminantes quadráticas, QDA, como método de classificação. Os autores deste trabalho implementam, como descritores, os descritores HOG adicionando informação sobre cor e textura. Devido à alta dimensionalidade inerente ao método de HOG adicionado, ainda, da informação sobre cor e textura, optaram por utilizar uma técnica de redução de dimensionalidade, designada por mínimos quadrados parciais. Em semelhança ao método de análise de componentes principais, o método PLS visa procurar quais as variáveis que melhor explicam a variabilidade existente nos dados tendo em conta, ao contrário do método PCA, a classe associada a cada indivíduo. Neste artigo é avaliado o desempenho do método PLS face aos métodos concorrentes e face ao método de PCA, atingindo níveis de desempenho bastante elevados em aplicações a várias bases de dados de imagens. Este artigo avalia também o desempenho de outros métodos de classificação baseados nos descritores propostos, sendo o método QDA o melhor. A leitura e interpretação deste artigo permite concluir que este método tem, face aos restantes, vários aspectos positivos, sendo a velocidade de treino e classificação aliados a um desempenho elevado, o aspecto mais aliciante. Uma análise deste método face a outros mais recentes, pode ser encontrada em Dollár et al. [In Press]. Na tabela 1.1 pode-se encontrar um resumo com os principais pontos positivos e negativos de cada abordagem. Para finalizar refere-se que nos trabalhos recentes de Dollár et al. [2009], Dollár et al. [In Press] e Enzweiler and Gavrila [2009] se podem encontrar um sumário das várias abordagens que têm vindo a ser introduzidas na área de detecção de pedestres, onde os autores tentam uniformizar os resultados obtidos face ao tipo de avaliação, classificação e base de dados utilizadas. Organização Esta tese está organizada em capítulos com um grau de dependência baixo entre si. Nos capítulos, 2 e 3, irão ser estudados vários métodos de extracção de características e de detecção, que serão utilizados para a construção de novos métodos para o reconhecimento de padrões, no âmbito de detecção de pedestres em fotografias digitais. No capítulo 3 é introduzido em detalhe o classificador proposto por este trabalho. No quarto capítulo serão expostos os resultados do método proposto face aos resultados de um dos métodos estudados no capítulo 1. Para terminar, será feita uma conclusão sobre 6

23 Descritor Classificador Geometria Iluminação Cor Treino Classificação Dimensão Felzenszwalb and Huttenlocher, Dalal and Triggs, Zickler and Efros, Huang et al., Schwartz et al., hong Liang et al., Felzenszwalb et al., Malagón-Borja and Fuentes, Tabela 1.1: Tabela descritiva dos pontos positivos e negativos das abordagens estudadas nesta secção. Os pontos associados ao classificador, Treino, Classificação e Dimensão tentam descrever, respectivamente, o tempo/facilidade de implementação do treino, tempo/facilidade de implementação da classificação e, por fim, a dimensão do conjunto de treino para obter o respectivo desempenho. a aplicabilidade do método escolhido, os seus aspectos positivos e negativos, assim como possíveis melhoramentos e/ou novas abordagens. Todo o código presente neste tese foi realizado pelo autor e foi escrito na linguagem R, R Development Core Team [2011], à excepção de algumas funções que foram escritas na linguagem C, cujo criador e visionário Dennis Ritchie faleceu em Estas funções, no entanto, foram criados para serem utilizados no software R. Este código não constará no corpo deste trabalho. Todas as imagens presentes foram criadas especificamente para este trabalho ou serão de uma base de dados/repositório livre de direitos de autor, onde a sua utilização noutros trabalhos é permitido. 7

24 8

25 Capítulo 2 Extracção de Características e Classificação Neste capítulo serão apresentadas as diferentes metodologias que serão discutidas na análise experimental. Estas são constituídas por duas fases. A primeira, designada por extracção de características, consistirá no tratamento de imagens, por exemplo transformação em tons-de-cinza, e na extracção de informação das imagens, ou seja, a extracção de descritores para utilização nos classificadores. A fase seguinte, detecção, consiste na aplicação de um classificador aos descritores provenientes da fase anterior. Cada uma destas fases pode ser composta por um ou vários métodos, este capítulo focar-se-á na descrição de cada um dos métodos considerados neste trabalho. Na fase de extracção de características descrevem-se os seguintes métodos: transformação de imagens a cores para tons-de-cinza; aplicação de um filtro gaussiano a uma imagem, dando um efeito de blur; extracção de arestas de uma imagem; e por fim, histograma de orientação de gradientes. Na fase de detecção apenas se apresenta o classificador Adaboost, que será utilizado como uma abordagem do estado-da-arte a comparar com o método proposto nesta tese. O classificador proposto neste trabalho será introduzido no capítulo seguinte. 2.1 Extracção de Características Tons-de-cinza Uma fotografia pode ser descrita utilizando diversos modelos de cor. O modelo mais utilizado, e óptimo para aplicações electrónicas, é o modelo aditivo RGB - Red, Green and Blue. Este modelo representa cada píxel de uma fotografia através de três valores, nas três cores primárias aditivas: vermelho; verde e azul. A percepção simultânea destes três valores reproduz a cor pretendida, vide figura 2.2. Este modelo não permite a reprodução de todas as gamas de cores existentes, mas reproduz a gama de cores percetíveis ao olho humano. 9

26 (a) (b) Figura 2.1: A imagem em (a), criada por brainleek07 e disponibilizada sobre o acordo CCA 3.0, é uma imagem representada com o modelo RGB. Em (b) está representada a imagem em (a) mas em tons de cinza. Não deverá ser dado nenhum crédito sobre o trabalho em (a) e (b), visto pertencerem a outro autor. Assim como (b) não deverá ser visto como um trabalho de arte mas sim apenas como uma ilustração de um processamento de imagem. Figura 2.2: Esta imagem ilustra a aditividade do modelo RGB. Como foi dito anteriormente uma fotografia digital pode ser vista como três matrizes, cada uma associada às três cores: vermelho, verde e azul. Cada matriz tem a dimensão da fotografia em píxeis e a cada entrada da matriz, por outras palavras: a cada píxel, está associado um valor entre 1 e 255 (ou entre 0 e 1) denotando a amplitude da respectiva cor nesse píxel. Um valor elevado corresponde a uma cor mais brilhante, e a um valor muito baixo uma cor mais escura. Neste trabalho as fotografias serão trabalhadas em tons de cinzento, ou seja, a cada píxel está associado apenas um valor, entre 1 e 255, denotando o nível do cinzento. A valores altos estão associado tons mais brancos e a valores baixos tons mais negros. A transformação entre o modelo RGB e o modelo Grayscale (escala de cinzentos) será feita de acordo com o mapeamento em Shih [2010]. Note-se que existem outros mapeamentos diferentes. Este mapeamento consiste numa ponderação dos valores nas três diferentes cores com os seguintes coeficientes: 0.3; 0.59; 0.11, para vermelho, verde e azul respectivamente, sendo este o mapeamento que preserva a luminância original da imagem. Em Shih [2010], Acharya [2005], Johnson [2006], entre outros, encontra-se informação sobre os vários modelos de cor existentes, os métodos de transformar uma imagem em tons-de-cinza e, também, sobre a luminância de uma fotografia. A transformação de uma fotografia numa imagem 1 em tons de cinza será o primeiro processo a ter em conta na transformação de imagens. 1 Há que notar que uma fotografia é uma descrição do que estava do outro lado da lente da máquina fotográfica. Ao ser feito qualquer tipo de alteração, deixa de ser uma fotografia e sim uma imagem. 10

27 2.1.2 Equalização de histograma para imagens em escalas de cinza Uma imagem de um cenário com poucos contrastes pode-se tornar difícil de interpretar, ou seja, de retirar informação tal como a figura 2.3.a o demonstra. Nestes casos a gama de valores das cores são muito próximas entre si, tendo um histograma da imagem (diagrama onde se representa a frequência de ocorrência de cada nível de cinzento) muito concentrado numa zona apenas, tal como se pode observar na figura 2.3.b. Por forma a realçar estas pequenas diferenças pode-se recorrer ao método de equalização de histogramas, que nivela o histograma de uma imagem, como se pode observar na figura 2.4. Esta equalização separa os valores mais próximos, realçando assim a diferença entre estes. Ao aplicar este algoritmo promove-se a extracção de informação de uma imagem. No entanto este método promove e realça ruídos que possam existir na imagem, podendo diminuir a qualidade geral desta e, com isso, piorar a extracção de informação, tal como é mostrado na figura 2.5. Um histograma pode ser visto como uma estimativa da distribuição de probabilidade da variável aleatória que representa os níveis de cinzento numa imagem. A equalização de histograma é um método que permite redistribuir os valores dos tons de cinzento de modo a obter um histograma de uma distribuição aproximadamente uniforme. De seguida será introduzida a teoria, e a função de equalização de histogramas, de acordo com a notação e definição presentes em Shih [2010]. Considere-se o caso de uma imagem em tons-de-cinza, em que cada píxel tem uma intensidade 0 r 1, logo r pode ser visto como uma concretização de uma variável aleatória R, onde R denota a imagem original. Esta variável aleatória, R, tem como função densidade de probabilidade contínua, p R (r), e função de distribuição: F R (r) = P [R r]. Seja então s = T (r) o mapeamento entre a imagem original e a imagem resultante da equalização de histograma. Por forma a realizar a equalização do histograma é necessário considerar que p S (s) seja constante, onde S denota a variável aleatória associada à distribuição de intensidades da imagem resultante e p S (s) a sua função de densidade. No cenário de tons-de-cinza, caso estes tenham valores entre 0 e 1, a variável aleatória S terá uma distribuição uniforme nesse intervalo. O denominado mapeamento, entre R e S, terá uma distribuição uniforme no intervalo (0, 1). Ou seja, T (R) S, onde S tem distribuição uniforme no intervalo (0, 1). Será agora apresentado o mapeamento para imagens digitais, que têm um carácter discreto pois existe um número finito de píxeis. Seja n o número de píxeis na imagem, n G o número de tons de cinza utilizados (neste trabalho considerou-se 255 tons de cinza) e seja n rj o número de píxeis com intensidade r j. Considere-se que a imagem original, assim como a imagem resultante, têm n G tons de cinza no intervalo: [0, 1,..., n G 1]. O mapeamento irá atribuir à intensidade original r k o valor s k, em que k = 0, 1,..., n G 1, de acordo com a equação (2.1). s k = T (r k ) = (n G 1) k j=0 n rj n = (n G 1) n k n rj (2.1) A equalização de histogramas será um dos processamentos a ter em conta na fase de extracção de características. Vários testes de desempenho serão feitos para verificar se este promove, ou não, a qualidade do modelo/classificador. j=0 11

28 (a) (b) Figura 2.3: A imagem em (a), disponibilizada sobre o acordo CCA 2.0, é uma imagem cujo histograma está concentrado apenas em intensidades elevadas, como se pode observar em (b) que representa o histograma das frequências relativas de (a) assim como a função de distribuição associada a este. (a) (b) Figura 2.4: A imagem em (a), corresponde à imagem 2.3.a) cujo histograma fora equalizado. A imagem em (b) é o respectivo histograma e estimativa da respectiva função de distribuição Filtro Gaussiano Numa imagem com muito ruído ou um elevado nível de detalhe, pouco relevante para um determinado problema como a textura da roupa, existe a possibilidade de tentar remover, ou diminuir, tais factores tal como é ilustrado na figura 2.6. Para tal pode ser aplicada a técnica de blur ou low-pass filters 2. Esta técnica é conseguida através do processo matricial designado por convolução. A convolução de matrizes pode ser definida através da convolução de funções de duas variáveis. Neste trabalho será definida de forma matricial e no cenário de tratamento de imagem. Seja A a matriz de interesse, por exemplo uma imagem, com dimensão p q e seja M um filtro/máscara a aplicar sobre a matriz de interesse com dimensão r s. A matriz resultante, R = A M, de aplicar o filtro M à matriz de interesse A, é dada pela equação (2.2), onde [.] ij denota a entrada (i, j) da respectiva matriz. 2 Low-pass filters, tendo esta designação pois, dada uma imagem como input, o resultado é uma imagem onde os píxeis de frequência espacial alta, na imagem original, foram atenuados enquanto que os de baixa frequência espacial se mantiveram. 12

29 (a) (b) Figura 2.5: A imagem em (a) corresponde a uma imagem com baixa definição cujo histograma está mal distribuído e (b) à mesma imagem após o processo de equalização de histograma, note-se o ruído existente agora nesta imagem, assim como uma melhoria da clareza da imagem. [R] i,j = r u s [M] uv [A] i u+1,j v+1 (2.2) v Onde u e v estão definidos de acordo com as dimensões de A e M, Note-se que a matriz resultante poderá assumir valores fora da região da imagem, nesses casos os valores [.] i,j serão considerados como zero caso os índices i e j não sejam válidos. Caso a máscara M possa ser factorizada em M 1 M 2 = M, onde denota o produto matricial e M 1 e M 2 com dimensões r 1 e 1 s respectivamente, então a convolução A M requer um maior tempo de execução do que executar as convoluções sucessivas: (A M 1 ) M 2. Irá-se então utilizar a técnica de convolução para aplicar um filtro gaussiano a uma dada imagem. O filtro gaussiano irá ponderar a frequência do píxel central com a dos píxeis adjacentes, de acordo com a distribuição gaussiana bivariada em que µ = (0, 0) e Σ = σ 2 I. A função de densidade gaussiana é não-nula em qualquer ponto finito, no entanto esta decresce rapidamente podendo ser truncada para valores suficientemente afastados de µ. Neste caso, o truncamento de cada distribuição marginal é feito para valores a uma distância de µ superior a 3σ. Como os píxeis estão distribuídos num espaço bidimensional discreto, o filtro gaussiano utilizado na convolução será uma matriz de dimensão k k, em que k 2 representa o número de píxeis a considerar em qualquer direcção do píxel central, havendo alguns ajustes quando k é par/ímpar. O valor de σ será ajustado de acordo com k. A matriz apresentada em (2.3) corresponde à discretização de um filtro gaussiano em que k = (2.3) 13

30 (a) (b) (c) (d) Figura 2.6: A imagem em (a) corresponde à famosa imagem de Lena utilizada em computer vision, mais informações sobre esta imagem pode ser encontrado no web-site: Lena wiki. A imagem em (b) corresponde à (a) adicionada de um ruído aleatório de píxeis brancos e pretos. Em (c) e (d) observa-se o resultado de aplicação de um filtro gaussiano de dimensão k = 5, a (a) e (b) respectivamente. Será agora descrito o processo de criação de um filtro gaussiano discreto tal como o utilizado neste trabalho. Seja f X (x µ X, σx 2 ), definida na equação (2.4), a função de densidade de uma variável aleatória normal, X, com parâmetros µ e σ. Como o interesse deste filtro é o de convolução, o parâmetro µ será nulo. Considere-se agora Y, identicamente distribuída e independente (i.i.d) a X, com função dada por f Y (y µy, σy 2 ). A variável aleatória X Y é então uma distribuição gaussiana bivariada com parâmetros µ = (µ X, µ Y ) e Σ = ( σ 2 X 0 ) 0 σ, com função de densidade f(x, y µ, Σ) dada pela equação 2 Y (2.5). Pode-se então concluir que a função de densidade bivariada pode ser vista como a aplicação de duas funções univariadas. Esta propriedade é importante pois permite facilitar os cálculos da convolução, ao fazer-se a convolução através de dois filtros gaussianos unidimensionais sucessivos, um na orientação vertical e outro na orientação horizontal, em vez de efectuar uma convolução com um filtro bidimensional. A divisão da convolução em dois passos permite diminuir a complexidade temporal da convolução de O(k 2 ) para O(k), como referido em Shih [2010]. A complexidade temporal de um dado algoritmo denota a ligação entre a dimensão do input do algoritmo e o tempo necessário para a execução deste sobre esse mesmo input, medido à custa de várias funções, neste caso polinomiais. Quanto maior o grau do polinómio, em função do valor k, maior será o tempo necessário à execução do algoritmo. 14

31 1 (x µ)2 f X (x µ, σ ) = e 2σ 2, x R (2.4) 2πσ 2 f(x, y µ = (0, 0), Σ σ X =σ Y = σ 2 I) = 1 e (x µ X ) 2πσ 2 X 2 2σ 2 X = 1 (x µ) 2 2πσσ e 2σ 2 (y µ ) 2 2σ 2 = 1 x 2 2πσ 2 e 2σ 2 y2 2σ 2 = 1 x 2 +y 2 2πσ 2 e 2σ 2 1 e (y µy ) 2 2σ Y 2 = 2πσY 2 (2.5) A função em (2.5) está definida num espaço contínuo, irá de seguida descrever-se como foi feita a discretização neste trabalho. A figura 2.7.a) apresenta a sobreposição de um filtro gaussiano sobre uma janela de uma imagem, ambas com as mesmas dimensões (5 5). Pode-se observar que a um único píxel está associada uma zona inteira do filtro, portanto o peso associado ao píxel será a média do valor do filtro nos quatro cantos do píxel. Ficando então com a máscara em 2.7.b). Esta máscara, criada através da média da gaussiana contínua em cada um dos vértices do píxel, será designada por filtro gaussiano discreto. Existem outros métodos que utilizam séries de Fourier para efectuar esta discretização, tal como descrito em Shih [2010]. (a) (b) Figura 2.7: Na imagem em (a) encontra-se um filtro gaussiano contínuo sobreposto a uma janela de 5 5 píxeis de uma dada imagem (apenas se observa os limites dos píxeis, no plano horizontal), a vermelho corresponde a associação de um dado píxel ao valor seu do filtro. Na imagem (b) encontra-se de novo um filtro gaussiano, desta vez discreto, sobreposto a uma janela de 5 5 píxeis, tal como no caso anterior a vermelho indica a associação do píxel-filtro. 15

32 (a) (b) (c) Figura 2.8: A imagem (a) diz respeito à imagem do Steve aquando da aplicação de um filtro de Sobel 2D, com o sentido horizontal. A imagem em (b) corresponde ao caso em que o filtro tem o sentido vertical e, por fim, a imagem em (c) corresponde à magnitude total de cada aresta, ou seja, (a) 2 + (b) 2. O Steve é o nome atribuído, pelo autor desta tese, a uma imagem do conjunto MIT em homenagem ao Steve Jobs (este exemplo será explorado posteriormente) Detecção de arestas Se existir interesse nos contornos dos objectos numa determinada imagem, podem utilizar-se vários métodos que transformam uma imagem, dita normal, numa de contornos, vide Shih [2010]. Estes métodos, designados em inglês por edge-detection methods, pertencem a um grupo de filtros designados por high-pass filters 3. Os métodos de detecção de arestas recorrem à iluminação dos píxeis para detectar contornos. Se k píxeis adjacentes tiverem uma diferença acentuada de iluminação poderá significar que existe um contorno entre estes. Os algoritmos de detecção de arestas, fazem-no através da convolução de um filtro, com a imagem original, tal como no caso do filtro gaussiano. Existem diferentes filtros, que marcam a diferença entre os vários algoritmos de detecção de arestas existentes. Estes filtros são, geralmente, de dimensões reduzidas assumindo que um contorno é também de dimensões reduzidas, comparativamente à dimensão total da imagem. Neste trabalho será considerado o método Sobel, a uma e a duas dimensões, cujos filtros serão definidos de seguida. Foram analisadas outros filtros, como por exemplo os filtros Prewitt e Canny (assim como os respectivos métodos), no entanto 3 High-pass filters, tem esta designação pois dada uma imagem como input, o resultado é uma imagem onde os píxeis de frequência espacial baixa na imagem original foram atenuados, enquanto que os de frequências espaciais altas se mantiveram. 16

33 optou-se por utilizar o filtro Sobel por ser este o utilizado, e estudado, nos artigos e livros analisados, facilitando assim a comparação com resultados já existentes. Outra razão para a escolha do filtro Sobel face aos restantes, recai sobre a facilidade de sua implementação. Em Dalal and Triggs [2005], Wu and Nevatia [2007], Dollár et al. [2009] e Dollár et al. [In Press], encontram-se tabelas de desempenho de vários métodos de detecção de pessoas em imagens, onde alguns destes utilizam técnicas de detecção de arestas, nomeadamente o filtro Sobel. O método Sobel está dividido em três etapas. A primeira e a segunda consistem na convolução da imagem com uma máscara, de orientação horizontal e vertical, respectivamente. O resultado de cada uma destas etapas corresponde à intensidade/magnitude da aresta, na respectiva orientação, em cada píxel, ou seja, o gradiente da diferença de iluminação em cada orientação. Nas figuras 2.8.a) e.b) pode ver-se o resultado da aplicação destas duas etapas a uma imagem. A terceira etapa corresponde ao cálculo da magnitude deste gradiente. Para ser possível visualizar estes resultados, como uma imagem, é efectuada uma normalização no valor do gradiente para os valores possíveis da intensidade, ou seja, entre 1 e 255. Na figura 2.8.c) pode observar-se o resultado da terceira etapa. O método Sobel a uma dimensão tem esta designação porque os filtros, de convolução, têm uma das dimensões unárias, enquanto que no método Sobel a duas dimensões as máscaras têm duas dimensões. Estes filtros, de duas dimensões, para além de permitirem calcular o gradiente, têm também um efeito de blur. Tendo sido feito o cálculo da magnitude do gradiente na direcção horizontal e vertical, em toda a imagem, fica-se com a magnitude do gradiente em cada uma das direcções G h e G v, respectivamente. Considere-se agora a magnitude horizontal e vertical do gradiente no píxel (i, j), respectivamente [G h ] ij e [G v ] ij. Esta informação permite o cálculo da magnitude do gradiente, assim como a sua orientação. Estes cálculos podem ser efectuados da seguinte forma: seja G a magnitude do gradiente, então G é dado pela equação (2.6): [G] ij = [G h ] 2 ij + [G v] 2 ij (2.6) A gama de valores para a orientação do gradiente depende de aplicação para aplicação. Neste tipo de aplicações não há interesse sobre a sentido da orientação, e.g. um gradiente ter um sentido da direita para a esquerda deverá ser igual a um com o sentido contrário. Interessa no entanto a sua direcção, ou seja, se é um contorno horizontal, vertical, inclinado, etc. Por isso não se terá em conta o sinal do ângulo do gradiente, ficando assim com uma gama de valores entre π 2 e π 2. Em Dalal and Triggs [2005] foram estudados outros casos mas os autores concluíram que esta abordagem era a que atingia melhores resultados. A orientação do gradiente é então calculada segundo a equação (2.7). ( ) [Gv ] [O] ij = arctan ij [G h ] ij (2.7) O método de detecção de arestas, magnitude e orientação, fará parte integrante do método seguinte, onde se avaliará o desempenho deste sobre cada uma das abordagens referidas anteriormente, Sobel a uma e duas dimensões. 17