Jorge Salvador Marques, Image Segmentation

Transcrição

1 Image Segmentation

2 Motivation segmentation: splits the image domain into regions each regions should have a semantic meaning (object in practice: we assume homogeneity Problem: Find [conected] groups of pixels with similar features (e.g., color, texture

3 label Image Segmentation can be represented by a label imagem J k { 0, 1,..., O 1} } where O is the number of objects in the image Binary segmentation is a special case with O=2.

4 binary segmentation: thresholding

5 binary segmentation thresholding J ( m, n = 1 0 I ( m, n > T caso contrário histogram

6 Example

7 automatic choice of the threshold Can be done using na histogram of the data by heurisric methods or statistical methods

8 Otsu method (1979 ( p(i 2 2 int 2 (T σ (T σ σ ext + = ( ( ( ( ( ( ( µ T µ T P µ T µ T P T σ f f o o ext + = T I ( ( int T σ σ T σ ext = critérion: minimization of variance inside the groups ( ( ( ( ( int T σ T P T σ T P T σ f f o o + = ( ( T P T P f o ( ( 2 2 T σ T σ f o class probabilities class variances (, ( T σ T σ f o

9 Example

10 Dificulties

11 region growing

12 region growingg seed homogeneity criterion I ( m, n I < T Algorithm 1 region initialization: choose a seed 2 test: test if boundary points the homogeneity criterion u ( x 1, x 2 u < T 3 grow: enlarge the region with boundary homogeneous points 4 update: update the boundary and average intensity 5 cicle: go to 2. if some boundary points are not tested.

13 classification of isolated pixels

14 Classification of isolated pixels The simplest strategy t consists of independently classifying i each pixel MAP classifier xk = arg max P( x Ik xk = x arg max P( I x k x P( x How can we estimate the probability distribution of each type of object? supervised methods unsupervised methods the trainint set is not classified classified training set

15 clustering methods Goal: seek groups of pixels with similar features O agrupamento é feito no espaço de características (cor, movimento, textura

16 Métodos hierárquicos Tem associada uma noção de escala. métodos partitivos dividem recursivamente o domínio da imagem em regiões cada vez mais pequenas. métodos agomerativos associam regiões elementares para formarem regiões maiores com base num critério de homogeneidade.

17 Métodos aglomerativos dendograma inicialização: definir uma colecção de regiões elementares (p.ex., pixels ciclo: até se obter um única região - determinar o par de regiões mais próximas e fundi-los - registar num dendograma as regiões associadas e a distância entre elas segmentação: escolher uma distância máxima de fusão e obter os grupos de dados por análise do dendograma

18 Distância entre grupos d min dmax dmin d max distância do mínimo d min = min x X, y Y x y método de ligação simples distância do máximo d max = max x X, y Y x y método de ligação completa

19 Exemplo método de ligação simples

20 Método de k-médias c 1 c 2 c 3 Separar o conjunto de dados X em k subconjuntos disjuntos X k Aproximar os dados em cada subconjunto X k por um centróide c k Critério E 2 = x c i problema de optimização i x X i

21 Método de k-médias (2 Inicialização: escolher valores para os k centróides (p.ex., k observações Ciclo classificação: classificar os padrões na classe com centróides mais próximos x Xi sse x ci < x ck actualização: recalcular os centróides k i 1 # X c k = x k x X k (se a distância for euclidiana

22 Exemplo dadosd resultados do k-médias Nota: mostra-sese a classe correcta (cor que não é usada pelo algoritmo de k-medias

23 Aplicação do K-médias Segmentação com o método k-médias no espaço RGB, 9 classes

24 Aplicação do K-médias (2

25 Aplicação do K-médias (3 Segmentação com o método k-médias no espaço RGB, 9 classes

26 Aplicação do K-médias (4

27 Classificação conjunta de pixels

28 Dependência espacial Os métodos anteriores baseiam-se em dois princípios: i estimação das propriedades de cada classe usando métodos de aprendizagem não supervisionada (métodos de agrupamento classificação independente de cada pixel Não exploram a dependência espacial: pixels vizinhos são provavelmente da mesma classe. Como explorar a dependência espacial dos pixels?

29 Minimização de Energia Energia E = k E( xk + E( xk, xl k, l V E(x k E(x k,x l V custo de classificar o pixel k no objecto (classe x k custo de atribuir labels x k,x l a pixels vizinhos conjunto de pares de pixels vizinhos Questões: como obter E? como optimizar a energia E? (Energy minimization methods

30 Métodos Baseados em Grafos A minimização de E = k E( xk + E( xk, xl k, l V quando x k é uma variável binária tem solução óptima em tempo quase linear usando técnicas de optimização i baseada em grafos (Greig, Essas técnicas podem ser aplicadas (de forma sub-óptima para resolver problemas em que x k não é binário. Este é actualmente um tema quente. (procurar mais informação nas páginas de Zabih, Kolmogorov, Boykov

31 deformable curves

32 challenge how can we detect deformable curves?

33 Snakes Kass, Witkin, Terzopoulos,1987

34 association problem P what point in the image domain corresponds to each model point?

35 Snake idea x potencial function Energy E 2 = P( x( s ds + α x& ( s ds The minimization of E is a variational calculus problem.

36 Potencial functions Potential functions should have valleys at the object boundary gradient potential P( x = du dx Cohen potencial P( x = G ( x c c C σ Gσ Gaussian kernel C set of boundary points

37 variacional calculus is used to minimize minimizar integrals I ( x = s 1 s 0 F ( s, x, x& ds where x(s na unknown function defined in the interval [s 0,s 1 ] Example: Brachistochrone problem (1696 Necessáry condition: Euler equation d ds F F& = 0 F x& x& + Fxx& x& + Fsx& Fx = 0 x x

38 Brachistochrone problem Johann Bernoulli presented this challenge in 1969 to the best mathematiciens of that time Problem: Given to points A, B what is the trajectory of a point acted by the gravity force which starts from A and reaches B in the shortest time? A B NÃO st-and ac html Hector J. Sussmann and Jan C. Willems, 300 years of Optimal Control: from the brachystochrone to the maximum principle. IEEE Control Systems, pages 32-44, 1997.",

39 Brachistochrone problem A (x(t,y(t conservação da energia v = 2gy comprimento de arco 1 B ds = 2 2 ( dx + ( dy = 1+ 2 y' dx y ' = dy dx T = B A ds v = y ' 2 2gy 0 dx cicloide

40 Euler equation: how to get it? ~ x ( s = x ( s + εη ( s Let x(s be a solution and let us consider na additive perturbation: The integral I ( ε = s1 s0 F ( s, x + εη, x & + εη & ds η( s0 = η( s1 = 0 should be minimum for ε=0. di d s1 (0 = 0 F( s, x + εη, x& + εη& ds = 0 dε dε s s 0 0 s1 ηfx + ηf & x& ds = 0 Integrating by parts, s1 s0 ηfxds + s1 s s 1 [ ηf ] 1 η d F ds = 0 η( F d F x& s0 s0 ds x& F x d ds s0 x Fx& = 0 ds x& ds = 0

41 Energy minimization Given the snake energy E 2 = P( x( s ds + α x& ( s ds the Euler equation is dp α & x ( s ( x( s = dx 0 dp Fint = αx &&( s Fext = dx F int ( x = F ext ( s equilíbrium of forces Dynamic Euler equation x( s, t t = F int ( s, t + F ext ( s, t

42 External force field u P=-h*u

43 Discrete Snakes discrete model x 1, x2,..., xn energy E ( x = P ( xi + α xi xi 1 i i 2 gradient de dx k = Fimg ( xk + 6α ( xk xk F x k img = = dp dx x k x k recursion x k ( t + 1 = x ( t + F ( x ( t β ( x ( t x ( t k img k k k

44 Example

45 work with Jacinto Nascimento

46 Example

47 Robustness problem what data are valid? How to avoid the attraction toward wrong data?

48 solution Nascimento & Marques, Image and Vision Computing, 2003 Assign a binary label to each visual feature (segment: k j k i =1 k j =0 Visual featurees are segments

49 Ideal case (known labels Estimation xˆ = arg min x i P( x i j P( x = k P ( x + (1 k j j j K Difficulty: how to estimate the curve when the labels are unknown? EM method

50 Real case (unknwon labels Adaptive potencial P a ( x = w P ( x j j j j j w = P ( k = 1/ y, xˆ j The adaptive potencial is obtained using the EM método for the estimation of parameters with incomplete data.

51 Example Snakes adaptative potential

52 Exemplo Snakes adaptative potential

53 Exemplo Snakes adaptative potential

54 Exemplo