Instituto de Ciências Matemáticas e de Computação ICMC-USP

Instituto de Ciências Matemáticas e de Computação ICMC-USP Monitoramento de população de aves por meio de segmentação de imagens aéreas: uma abordagem por algoritmos de detecção de comunidades, superpixels e MRF VIII Workshop de Teses e Dissertações Universidade Federal Uberlândia Novembro - 2014

Apresentação Por que contar aves é importante? Objetivos Metodologia Super Pixels Redes Complexas: Algoritmos de detecção de comunidades MRF Resultados

Pantanal Area: 250km2 Altitude: 100 m!!! Inundado boa parte do tempo Fronteira com a Bolivia (chaco) and Paraguai Patrimônio Natural da Humanidade (UNESCO)

Introdução Monitoramento Biológico Qualidade ambiental pode ser aferida por meio de monitoramento de espécies de animais Monitoramento de pássaros Distúrbios no meio ambiente Mudanças climáticas Pantanal Garça: cabeça-seca Precisamos contar indivíduos durante a estação de acasalamento

Introdução Monitorar (contar indivíduos) de colônia de pássaros Cabeças-secas (Mycteria americana) Por que utilizar imagens aéreas? Menor intrusão no habitat natural Mais rápido Pessoal em solo reduzido Usar drones ou VANTs (Veículos Aéreos Não Tripulados) para a aquisição de imagens

VANT - Tiriba

Introduction É assim que as imagens se parecem!

Objetivos Criar uma abordagem para segmentar imagens de alta dimensão, de forma precisa e com rapidez Superpixels and redes complexas Contar pássaros que normalmente repousam sobre os ninhos Abordagem por textura MRF (Markov Random Fields)

Abordagem Pré segmentação com Super Pixels e Redes Complexas Segmentação de textura com MRF: contagem do número de indivíduos

Pré Segmentação

Segmentação de imagens de alta dimensão com abordagem em grafos Problema de escalabilidade O problema se torna impraticável, à medida que no nro de pixels aumenta. Cada pixel é um nó! Superpixels Reduz a cardinalidade do grafo Um super pixel é um conjunto de pixels com contorno bem preciso

SuperPixels a) Condição inicial b) Após algumas iterações c) Super Pixel final: contornos bem ajustados aos objetos.

Superpixels Estratégia baseada em k-means Os pixels do contorno sao re-arranjados pela minimização da função de custo: (1) Ii Intensidade média do superpixel i th x,y coordenada do pixel testado Cix,Ciy Localização do superperpixel ith λ1 and λ 2 parâmetros: similaridade entre pixels e convexidade.

Geração do Grafo Conexões obedecem a uma função peso: (3) (2) Imagens Nível de Cinza Imagens coloridas Cki, Ckj canal k do modelo de cor RGB ou CIELAB

Geração do Grafo Conexões estão restritas a um determinado raior R Raio R = 5

Detecção de Comunidades em Redes Complexas Muitas redes apresentam estrutura de comunidades Grupos cujos nós são mais densamente conectados entre si do que do resto da rede Problema fundamental: como definir a melhor divisão (normalmente o número e tamanho são desconhecidos) Modularidade

Modularidade c Q= ( e ii a ) 2 i i=1 4 1 1 1 3 0 1 0 3 c = nro comunidades = 3

Segmentação de imagens de alta resolução Aplicação dos algoritmos de detecção de comunidades: Fast Greedy (FG) [Newman 2004] e Label Propagation (LP) [Raghavan et al. 2007]. Biblioteca Igraph [Csardi and Nepusz 2006]. Dividem os vértices em comunidades (regiões). Aplicação em grafos de superpixels. Reduz custo FG: mais apropriado para a segmentação modularidade LP: não garante melhor resultado seleção aleatória dos rótulos. Imagem super-segmentada.

Algoritmo Fast Grid Ideal para segmentação de imagens Inicialmente, cada nó é uma comunidade

Algoritmo de Segmentação

Identificação e contagem de cabeças-secas Markov Random Fields Um bom modelo para discriminar texturas. Como discriminar um pássaro branco do seu reflexo também branco na superfície d'água? É um conceito relacionado a probabilidade e estatística.

Campos de Markov: modelo É um campo aleatório em que a probabilidade de uma variável aleatória assumir um certo valor (dado o conjunto de todas as variáveis do campo) é a probabilidade da mesma variável receber um valor dado apenas um conjunto de variáveis de um certo sistema de vizinhança Imagem É o dado observado O pixel é a variável aleatória Vizinhança 4- ou 8-conectado.

MarkovianRandom Random Markovian Field Field EM/MPM :: Overview Segmented Image... Input Image 1 2 3 ( 1, 21) L ( L, 2L) ( 3, 23) Pre-defined number Randomly created class map (label field) of classes Perform a new classification MPM Algorithm... 1 2 3 L Estimation of classes parameters Update parameters EM Algorithm

Na prática: quais os melhores valores para os diversos parâmetros? Tamanho inicial do superpixel Melhores valores para λ e λ 1 2 Como o tamanho do superpixel influencia no desempenho e qualidade da segmentação? Mudanças pequenas produzem segmentações bastante distintas Criação do Grafo Raio R Limiar T: devemos conectar os vértices (criar arestas)? Uma nova métrica para avaliação quantitativa da qualidade de segmentação: Berkeley image database. 300 imagens, raio: 1 to 5, limiar: 0.5 to 40 (0.5 increment) 400 segmentações para cada imagem 120.000 segmentações no total!

Tamanho do Superpixel

Superpixel Size

Segmentação de imagens de alta resolução Métrica de avaliação quantitativa da qualidade da segmentação: 1. 2. 3. 4. 0 I(S,S ) 1 I(S, S ) = 1, se S = S I(S,S ) = I(S,S) I(S,S ) I(S,S ) & I(S,S ) I(S,S ) I(S,S ) I(S,S ) Exemplo: min(r,r ) = 2 max(mlc)=[80,10] Similaridade = 90%

Segmentação de imagens de alta resolução Novo método de seleção da imagem de referência Comparação da imagem segmentada automaticamente com imagem segmentada manualmente. Diferentes segmentações manuais Imagem de referência: aquela que, na média, mais se assemelha às demais. Processo: Calculam-se as intersecções entre todas segmentações manuais (matriz M). Somam-se as interseções de cada linha. Escolhe-se a segmentação com maior soma. n = qtde imagens manuais

Segmentação de imagens de alta resolução Novo método de seleção da imagem de referência

Avaliação do Raio

Avalição do Limiar

Resultados Aquisição das imagens: outubro de 2013 Resolução: (10cm/pixel). Altitude de voo: 250 mts aproximadamente Resolução espacial: 5184x3456

Resultados Pré-segmentação Superpixels + fast greedy. Parâmetros (SP size:10, 1: 1, 2: 0.09, t=3, R=5, iterações: 6, modelo de cor CIELAB ).

Resultados MRF Segmentation Parâmetros: Vários experimentos T: 3, k:8, iterações:200, classes: 5, pixels s s 80, Parêmetros iniciais: por limiarização Otsu e Simulated Annealing ( 0:0, I: 0.05, max: 2.4)

Resultados Como se compara à contagem Humana? Ninhos visitados por especialistas. Contagem In loco : 341 Contagem automática: 325 Fatos: Processo In loco:» Conduzido por biólogos (observação direta) em dias distintos.» É uma estimativa. Contagem automática:» Incluem pásssaros em vôo e pássaros sobrepostos no mesmo ninho (foi aplicada uma heurística que leva em conta a área ocupada por uma ave, dados o tamanho da ave e resolução da imagem em cm/pixel)

Resultados Segmentação automática X Segmentação manual por observação direta 20 imagens. Coeficiente de Pearson: 0.98

Conclusões Algoritmos de detecção de comunidades e superpixel é uma boa abordagem de segmentação: precisão e rapidez Contribuições Funções de peso baseada no modelo de cor CIELAB Limiarização adaptativa para a criação do grafo Definição dos melhores parâmetros Segmentação por MRF Adequada para a segmentação dos pássaros em ninhais. Correlação com a segmentação humana

Obrigado! jbatista@icmc.usp.br