Agenda. Detecção e Análise de Movimento em Vídeos. Detecção e Análise de Movimentos: Introdução. Detecção e Análise de Movimentos: Introdução

Transcrição

1 Agenda Detecção e Análise de Movimento em Vídeos Alceu de Souza Britto Jr. Alessandro L. Koerich InviSys Sistemas de Visão Computacional Ltda Programa de Pós-Graduação em Informática (PPGIa PUCPR) Introdução Detecção de movimento Fluxo ótico Segmentação Background / Foreground Rastreamento de elementos (Tracking) Classificação de eventos Convencionais/Não-convencionais Múltiplas câmeras Próximos desafios Seminário TVGlobo Engenharia São Paulo, SP Detecção e Análise de Movimentos: Introdução Detecção e Análise de Movimentos: Introdução - Objetivos - Controle, monitoramento e/ou segurança de ambientes. - Aplicações - Câmeras de segurança - Monitoramento de tráfego - Contagem de pessoas - Vídeo conferência - Piloto automático - Dentre outras, Tarefas envolvidas: Baixo nível (segmentação e rastreamento) : pessoas, veículos, outros objetos. Identificação de cada elemento detectado: efetuando alguma rotulação. - Rastreamento de cada elemento: definindo-se a trajetória e/ou predição da trajetória.

2 Detecção e Análise de Movimentos: Introdução Detecção e Análise de Movimentos: Introdução Tarefas envolvidas: Alto nível (análise do comportamento, interpretação) - Caracterização do movimento: mensurando-se variáveis como direção, velocidade, consistência temporal, - Classificação do movimento como convencional ou nãoconvencional. - Fusão e interpretação dos resultados de várias câmeras Desafios Câmeras fixas Problemas comuns: Variação da Iluminação Sombras Imagem tremida oclusão Câmeras móveis Problema adicional: necessidade de compensação de movimento da câmera para construir background. Detecção de Movimento Detecção de Movimento: Fluxo Óptico Abordagens: Fluxo óptico Cálculo do movimento para uma região ou todo o frame. Rastreamento de objetos Segmentação background (fundo) / foreground (movimento) Rastreamento e análise dos elementos detectados em uma seqüência de frames. Cálculo do movimento aparente do brilho da imagem considerando uma região ou todo um frame. Princípio: Se I(x,y,t) é o brilho, considera-se que: I(x,y,t) depende das coordenadas x,y da imagem. O brilho de cada pixel de um elemento em movimento não muda ao longo do tempo.

3 Detecção de Movimento: Fluxo Óptico Detecção de Movimento: Fluxo Óptico Se o objeto está se movendo no tempo dt e seu deslocamento é (dx,dy), então usando a série de Taylor: I ( x + dx, y + dy, t + dt) = I ( x, y, t) + dx + dy + dt +... x y t De acordo com a 2a. consideração: I ( x + dx, y + dy, t + dt) = I ( x, y, t) dx + dy + dt +... = 0 x y t Dividindo por dt tem-se a equação do fluxo óptico: u + v = x y t u = dx dt, v = dy dt - Utiliza vetores de fluxo de objetos em movimento no tempo - Complexidade computacional alta possível para processamento em tempo real apenas com hardware especializado. - Sensível a ruído. Detecção de Movimento: Localizando Elementos em Movimento Segmentação de uma cena em fundo (background) e elementos em movimento (foreground). Abordagens Baseada em modelo explícito utiliza um modelo detalhado e fixo de cada elemento na cena. Baseada em modelo implícito (mais flexível) utiliza modelos genéricos e criados dinamicamente. Subtração simples utilizando background fixo, a qual consiste em: Selecionar um único frame que não contenha objetos de interesse (em movimento) para representar o (fundo) background Subtrair o frame selecionado como fundo de um frame contendo objetos de interesse. Os pixels resultantes cujos valores sejam diferentes de zero são considerados como foreground. Problemas: Sensível a variação de iluminação da cena, ou pequenas variação relacionadas ao processo de aquisição (balanço e/ou tremor da câmera - jitter).

4 Exemplo subtração simples do fundo Exemplo subtração simples Background fixo Altamente dependente de um bom modelo do fundo Diferença temporal Consiste em calcular a diferença entre frame corrente e o n-ésimo frame anterior. Fornece contorno do objeto em movimento. Quanto maior o n mais espesso será o contorno. Diferença Temporal - Indicado para ambientes dinâmicos - Elementos apresentam buracos no interior.

5 Fundo fixo Abordagens Estatísticas Baumberg and Hogg modelam o background utilizando um filtro da mediana para cada pixel. Um limiar sob a diferença absoluta entre frames é utilizado para identificar o foreground. Haritaoglu et al. modelam a intensidade dos pixels do background usando valores de mínimo e máximo e a diferença máxima entre frames. Se a intensidade de um pixel está fora do modelo é classificado como foreground. Diferença de frames 5o. anterior Ridder et al. usam filtro de Kalman em cada pixel para modelar a intensidade e assim predizer o background, contudo os autores ainda utilizam um limiar sob a diferença absoluta entre frames para identificar o foreground. Stauffer and Grimson modelam a história de cada pixel (cor em espaço RGB) por uma mistura de Gaussianas. Abordagem Stauffer and Grimson Robusto à variações de iluminação. Absorve movimentos repetitivos na cena (exemplo: movimento de folhas das árvores). Bom desempenho para rastreamento em regiões complexas ou rastreamento de objetos lentos; Boa opção quando há entrada e saída de elementos na cena (atualização dinâmica do background). Detecção de elmentos em movimento Stauffer and Grimson: Mistura de Gaussinas?? Múltiplas Gaussianas são necessárias para compensar as diferentes interações entre os pixels do background e fatores da cena, tais como: Iluminação Sombras interações entre objetos Atualização das gaussianas acontece a cada frame. Cada frame contribui para as características do background, sendo que este tem variância menor que elementos em movimento. K t P( X ) = ω, N( X1, μ,, Σ, ) t i= 1 i t i t i t

6 Stauffer and Grimson: Mistura de Gaussinas Stauffer and Grimson: Peso e quantidade de Gaussinas Foreground? O que não for background será considerado foreground. Para cada pixel, distribuições que possuem variância menor são usualmente parte do background. Um número pré-definido de Gaussianas é utilizado (entre 3 e 5); Cada valor de pixel deve ser avaliado segundo todas as Gaussianas; Cada Gaussiana tem um peso que indica quão bem esta representa a história do pixel; Se um objeto torna-se estático por um longo período de tempo, este será eventualmente agregado ao background (o tempo denpende das características do objeto) Se um pixel corresponde a uma Guassiana então seu peso é incrementado e a Gaussiana atualizada; Se o peso cair abaixo de um limiar então a Gaussiana é eliminada. Se não acontece uma correspondência então uma nova Gaussiana é criada com um peso baixo. Stauffer and Grimson: Escolha do Espaço de Cor Stauffer and Grimson: Exemplo RGB é sensível a sombras; Segmentação utilizando Stauffer & Grimson O uso de um espaço de cores que separa intensidade da informação matiz (croma) é importante para tratar sombra e variações de iluminação. HSV ou YUV são utilizados com freqüência. - Região central dos elementos fragmentada movimento lento - Usando mistura de gaussianas - Exemplo A - Exemplo B

7 background/foreground - (Mckenna et al.) background/foreground - (Mckenna et al.) - Modelo para pixels baseado em informações do gradiente (Sobel) calculado com base em informações de cromaticidade. - Resultados para diferentes limiares calculados com base em desvio padrão (1, 2, 3, 5, e 10) 1) Subtração do fundo baseado em cor 2) Subtração baseada em gradiente (Sobel) 3) Combinação das anteriores 4) Depois de filtro da mediana 5) Segmentação 6) Agrupamento e bounding boxes background/foreground - (Elgammal et al.) background/foreground - (Elgammal et al.) Abordagem não paramétrica utiliza uma função kernel para estimar a probabilidade de um pixel ter uma determinada intensidade no tempo t. Resultados: Dia chuvoso Floresta Lente especial Kim et al. Modela background criando um codebook para cada pixel Diferente número de codewords. Características: cor e brilho Exemplo:

8 Como tratar o foreground? Rastreamento de Elementos (Tracking - abordagens) Pixels considerados foreground devem ser agrupados para formar objetos. Filtragem e algoritmo de detecção de componentes conexos normalmente são utilizados. O resultado é uma lista de objetos com tamanho e posição conhecidos. Baseado em regiões Background mantido dinamicamente e objetos em movimento detectados subtraindo background da imagem corrente. Baseado em contorno ativo Mais simples e mais eficiente Reduz complexidade computacional Precisão limitada a nível de contorno Rastreamento (Tracking): Acompanhar elementos em movimento no campo de visão da camera. Rastreamento de Elementos (Tracking - abordagens) Rastreamento de Elementos (Tracking) Baseado em características Globais: centróides, perímetros, áreas, cores,... Locais: segmentos de linhas e curvas, vértices. Grafos: distâncias e relações entre características. Baseado em modelos Utiliza modelos criados com conhecimento a priori do ambiente. Modelos baseados no corpo humano. Modelos de movimento. Modelos baseados em veículos. Problemas: Oclusão; Referenciar o mesmo objeto durante a trajetória; Possíveis Soluções: Predição do movimento; Função de Custo para identificar o elemento Filtro de Kalmann

9 Rastreamento de Elementos (Tracking Função Custo) Rastreamento de Elementos (Tracking Função Custo) Função de Custo dp é a distância dos centros de massa; ds é a diferença de tamanho; dd é a diferença de direção; dt é a diferença da persistência (Time To Live); wp, ws, wd são os respectivos pesos; Cada objeto do quadro anterior deve ser assimilado a região de movimento no quadro atual que lhe fornecer o menor custo; Predição do Movimento: O i s é a velocidade de deslocamento; S é um decremento de velocidade; R j é a região de movimento mais próxima ao objeto; O c é o ultimo centro conhecido pelo objeto A nova posição será dada por: O c = O c+ O s Rastreamento de Elementos Tracking: Filtro de Kalman Rudolph E. Kalman (1960) solução recursiva para a filtragem linear de dados discretos. Equações matemáticas implementam um preditor/corretor que minimiza o erro estimado para a covariância. Aplicado para tracking (Greg Welch, Gary Bishop) ( Rastreamento de Elementos Tracking: Filtro de Kalman Filtro de Kalman estima o estado do sistema em um dado tempo e então o realimenta com base na mensuração do ruído. Filtro de Kalman: (1) Equações p/atualização no Tempo Responsável por projetar no tempo o estado corrente e a estimativa de erro para obter uma estimativa a priori para o próximo passo. (2) Equações p/atualização de Medidas Realimentação de medidas incorpora novas medidas na estimativa a priori para obter uma estimativa melhorada (a posteriori).

10 Rastreamento de Elementos Tracking: Filtro de Kalman Classificação de eventos: Abordagens Ciclo do filtro Estado = centro de massa do elemento em movto. Com modelo explícito para cada tipo de movimento (Ramanan & Forsyth) Preditor Predição: projeta o estado estimado no tempo. Corretor Atualização: ajusta a estimativa com medidas realizadas no tempo projetado. Classificação de eventos: Abordagens Classificação de eventos: Abordagens Com modelo explícito para cada tipo de movimento (Ramanan & Forsyth) Exemplos: Vídeo 1 Video 2 Abordagem sem modelo específico para movto Exemplo (Hochulli at el.) Extração de características Seleção de características Implementação de classificador (KNN) Classificação de elementos em movimento como: eventos convencionais e não convencionais.

11 Classificação de eventos: Abordagem Hochulli at al. Extração de características que descrevem: elemento e/ou movimento; Exemplos de características para descrição do elemento: Globais: Área, Perímetro, Cor; Locais: Curvas, Contornos, traços; Classificação de eventos: Exemplo de características que descrevem o movimento: Dado um instante t da trajetória, extrai-se informações sobre: Velocidade; Posição Deslocamento; Variação da Direção e Consistência temporal. Gráficas: Distâncias, Geometria; Classificação de eventos: Classificação de eventos: Dividida em duas etapas: Treinamento: É a fase onde o sistema aprende o que é um movimento convencional ou não-convencional. É necessario a intervenção do usuário; Classificação: Com base no que foi ensinado na fase de treinamento, o sistema classifica novos movimentos automaticamente, sem a intervenção do usuário;

12 Classificação de eventos: Uma janela temporal determina o tempo de classificação do movimento; Durante este tempo é formado o Conjunto de Vetores de características que descrevem o movimento; Classificação de eventos: Uma vez rotulado os vetores do conjunto, é feita uma votação entre os vetores do conjunto para classificar o movimento como convencional ou não-convencional; Para cada vetor do conjunto é computado uma distância Euclidiana com os demais vetores da base (KNN); Vantagens: Metódo Simples e Direto; Desvantagens: Pode se tornar computacionalmente caro; Classificação de eventos: Continuidade HMM SVM SVM ONE-CLASS Máquinas de estado. Classificação de eventos: Ambiente 1 3 Tipos de eventos analisados: Andando; Correndo; ZigZag Taxa de Acerto: 77.20%; Características mais representativas: Velocidade; Direção;

13 Classificação de eventos: Ambiente 2 2 Tipos de eventos analisados Andando; Briga Simulada; Taxa de Acerto: 82.05% Características mais representativas: Posição; Deslocamento; Variação do Tamanho; Múltiplas Câmeras: Principais características Instalação Desempenho e custo Como cobrir uma região toda com o menor número de câmeras? Possibilidades: sobreposição dos campos de visão e câmeras espalhadas arbitrariamente. (Pavlidis, et al): Instala 1a. Câmera; Instala 2a. Câmera com 25%-50% sobreposição com o campo de visão da 1a. Cada nova câmera de ser instalada com 25%-50% de sobreposição com o campo de visão combinado das demais câmeras. Correspondência de Objetos Métodos baseados em geometria: características geométricas são projetadas em um mesmo espaço. Métodos baseados em reconhecimento: histograma de cores. Múltiplas Câmeras Múltiplas Câmeras Chaveamento entre câmeras Cai et al. determinam um índice de confidência para o rastreamento. Quando o índice está abaixo de um limiar o sistema procura pela câmera com mais alta confidência e a torna ativa. Fusão de dados Importante para tratamento de oclusão ou mesmo continuidade do rastreamento Depende do esquema de instalação das câmeras. Sistema com campos de visão sobrepostos Boyd et al. Campos de visão de múltiplas câmeras são transformados em um único campo de visão; Grimson et al. Conjunto de câmaras espalhadas arbitrariamente em um ambiente Determina automaticamente como mapear os campos de visão locais em um campo de visão coerente Classifica as atividades monitoradas. Huang & Russell Tenta encontrar o mesmo veículo nos diferentes campos de visão para efetuar contagem e monitorar o tempo. Utiliza aparência e considera a posição das câmeras ao longo do caminho simples a ser monitorado; Considera objetos com movimento determinístico, exceto objetos que entram e deixam o ambiente.

14 Múltiplas Câmeras Múltiplas Câmeras Câmeras em posições arbitrárias Kettnaker & Zabih Sistemas múltiplas câmeras não considera sobreposição nem caminho simples (determinístico); Câmeras em sistema de corredores objetos com caminhos arbitrários Pedestres podem escolher o caminho (não determinístico); Sistema é capaz de reconstruir o caminho de todos os objetos. Possível aplicação: planejamento de tráfego. Caminho não determinístico e não sobreposição de campos de visão (Kettnaker & Zabih) Múltiplas Câmeras Múltiplas Câmeras Esquema proposto em (Xu et al.) Detecção e rastreamento de jogadores Filtro de Kalmann (a partir do campo de visão de uma câmera)

15 Múltiplas Câmeras Múltiplas Câmeras Rastreamento de cada jogador é atualizado com base em medidas das várias câmeras. A atualização é realizada com base nas medidas dos K-vizinhos mais próximos. Futuro??? Contato Combinação de monitoramento de vídeo e identificação de pessoas (Biometria). Classificação de comportamentos Detecção de anormalias e predição de comportamento. Alessandro L. Koerich alessandro@invisys.com.br alekoe@ppgia.pucpr.br Alceu de Souza Britto Jr. alceu@invisys.com.br alceu@ppgia.pucpr.br