Algoritmos de segmentação por corte em grafo generalizado

Transcrição

1 Algoritmos de segmentação por corte em grafo generalizado Prof. Dr. Paulo A. V. de Miranda Instituto de Matemática e Estatística (IME), Universidade de São Paulo (USP) pmiranda@vision.ime.usp.br

2 Corte em grafo generalizado Considere um grafo ponderado G = V,E,w derivado de uma imagem Î, onde os pesos w(c,d) entre pixels vizinhos são projetados para ter valores elevados nas transições das bordas do objeto de interesse (e.g., w(c,d) = I(c) I(d) ).

3 Corte em grafo generalizado Para cada grafo G = V,E,w, considere o espaço X de todas as funções x: V [0,1], referido como subconjuntos fuzzy de V, com o valor x(c) indicando um grau de pertinência com o qual c pertence ao conjunto. A família X de todas as funções x X com os valores permitidos somente de 0 e 1 (i.e., x: V {0,1}) será referida como a família de todos subconjuntos hard de V. Cada x X é identificado com o subconjunto P = {c V : x(c) = 1} de V. Note que, em tal caso, x é a função característica χ P de P V.

4 Corte em grafo generalizado Nós geralmente restringimos a coleção X de todos os objetos permitidos através de dois conjuntos disjuntos, referidos como sementes: S obj V indicando o objeto e S bkg V indicando o fundo. Isto restringe o conjunto de saídas admissíveis dos algoritmos para a família X(S obj,s bkg ) de todos x X com x(s) = 1 para todo s S obj, e x(t) = 0 para todo t S bkg. Note que X(S obj,s bkg ) = {χ P : S obj P V \S bkg }.

5 Corte em grafo generalizado Para q [1, ] considere o funcional de energia ε q : X [0, ), onde, para cada x X, ε q (x) é definido como a q-norma do funcional F x : E R, dado pela fórmula F x (c,d) = w(c,d) x(c) x(d) para c,d E. Isto é, ε (x) = F x = max c,d E w(c,d) x(c) x(d), ) q ε q (x) = F x q = q c,d E ( w(c,d) x(c) x(d) para q <, onde w(c,d) = K w(c,d). Note que lim q ε q (x) = ε (x), visto que q-norma converge, quando q, para a -norma.

6 Corte em grafo generalizado Seja ε q min o mínimo da energia ε q(x) sobre todos os objetos permitidos x X(S obj,s bkg ), isto é, ε q min = min{ε q(x): x X(S obj,s bkg )}. Qualquer elemento de X q (S obj,s bkg ) = {x X(S obj,s bkg ): ε q (x) = ε q min } será referido como uma solução ótima da energia ε q em X(S obj,s bkg ). Qualquer algoritmo A que, dada uma imagem Î e conjuntos de sementes S obj e S bkg, retorna um objeto, denotado por A(Î,S obj,s bkg ), de X q (S obj,s bkg ) será referido como um algoritmo de ε q -minimização.

7 Corte em grafo generalizado Note que o algoritmo padrão de fluxo máximo/corte mínimo é um algoritmo de ε 1 -minimização. Vamos usar um símbolo GC sum para denotar este algoritmo. Os métodos Relative Fuzzy Connectedness (RFC), Iterative Relative Fuzzy Connectedness (IRFC), Floresta de Espalhamento Mínima, e alguns casos de Floresta de Caminhos Ótimos são todos algoritmos de ε -minimização. Todos esses métodos podem ser obtidos via a Transformada Imagem-Floresta (IFT).

8 Por simplicidade, vamos considerar o problema equivalente dual dado pela maximização da energia abaixo: ε (x) = min c,d E x(c) x(d) w(c,d),

9 As funções de conexidade são especificadas por uma regra de inicialização e uma regra de extensão de caminho. { 0 se t S = Sobj S f sum ( t ) = bkg + caso contrário f sum (π s s,t ) = f sum (π s )+w β (s,t) f max ( t ) = { 1 se t S = Sobj S bkg + caso contrário f max (π s s,t ) = max{f max (π s ),w(s,t)}

10 f w ( t ) = f w (π s s,t ) = w(s,t) { 1 se t S = Sobj S bkg + caso contrário f IRFC ( t ) = f IRFC (π s s,t ) = { 1 se t S = Sobj S bkg + caso contrário { max{firfc (π s ),2 w(s,t)+1} se R(s) S obj max{f IRFC (π s ),2 w(s,t)} se R(s) S bkg onde R(s) = org(π s ).

11 Exemplo:

12 Possíveis bordas de corte da IFT com f max :

13 Possíveis bordas de corte da IFT com f max (desempate LIFO):

14 Possíveis bordas de corte da IFT com f max (desempate FIFO):

15 Possíveis bordas de corte da IFT com f IRFC :

16 Possíveis bordas de corte da IFT com f w :

17 Relative-fuzzy connectedness (RFC) Dois mapas de conexidade separados são calculados: V o (q) que leva em conta apenas as sementes em S obj. V b (q) que leva em conta apenas as sementes em S bkg. V o (q) = V b (q) = min π q in(v,e) org(π q) S obj {f max (π q )}, (1) min π q in (V,E) org(π q) S bkg {f max (π q )}. (2) A segmentação final é obtida por comparação dos dois mapas de conexidade V o (q) e V b (q), tal que cada pixel q V é rotulado como sendo do objeto somente se V o (q) < V b (q).

18 Diagrama das relações entre métodos

19 Diagrama das relações entre métodos

20 (a) RFC (b) IRFC (c) IFT fmax

21 Imagem de pesos e o resultado usando f max (π).

22 Imagem de pesos e o resultado usando f sum (π) (β pequeno).

23 Imagem de pesos e o resultado usando f sum (π) (β elevado).

24 Bibliografia P.A.V. Miranda, and A.X. Falcão, Elucidating the relations among seeded image segmentation methods and their possible extensions, Sibgrapi 2011 (XXIV Conference on Graphics, Patterns and Images), Maceió, AL, Brazil, pp , Krzysztof Chris Ciesielski, J.K. Udupa, A.X. Falcão, and P.A.V. Miranda, Fuzzy Connectedness image segmentation in Graph Cut formulation: A linear-time algorithm and a comparative analysis, Journal of Mathematical Imaging and Vision, vol. 44, no. 3,