Transformada Imagem-Floresta (IFT)

Transcrição

1 (IFT) Prof. Dr. Paulo A. V. de Miranda Instituto de Matemática e Estatística (IME), Universidade de São Paulo (USP) pmiranda@vision.ime.usp.br /

2 Um caminho π no grafo G = (D I,A) é uma sequência de pixels distintos p,p,...,p n, onde (p i,p i+ ) A, i =,,...,n. p é a origem org(π) do caminho e p n é o destino dst(π). π t = p,p,...,p n = t é um caminho com término em um pixel t. π s t = p = s,p,...,p n = t é um caminho com origem em s e término em t. O caminho π é dito trivial se π = p. Seja π um caminho que termina em um pixel p e (p,q) A, então π p,q é dito o caminho resultante da concatenação de π e p,q com as duas instâncias de p se fundindo em uma. Um pixel q é dito conexo a um pixel p se existir um caminho de p a q em G = (D I,A). /

3 Uma função de f(π) associa um valor escalar a qualquer caminho no grafo G = (D I,A), com base em propriedades da imagem ao longo deste caminho. Em segmentação, por exemplo, propriedades locais da imagem (vetor de atributos) e globais do objeto desejado (textura, cor e forma) exploradas no cálculo de f(π) para indicar a força de entre seus nós terminais através do caminho π. /

4 As funções de são especificadas por uma regra de inicialização e uma regra de extensão de caminho. f max ( t ) = H(t) f max (π s s,t ) = max{f max (π s ),w(s,t)} () f sum ( t ) = H(t) f sum (π s s,t ) = f sum (π s )+w(s,t) () { if t S f euc ( t ) = + caso contrário f euc (π s s,t ) = t R(s) () onde H(t) é um valor inicial, R(s) = org(π s ), w(s,t) é um peso de arco (w(s,t) em f sum ), e S D I é um conjunto de sementes. 4 /

5 As funções f max e f sum são casos particulares de funções f mi monotonicamente incrementais. f mi ( t ) = H(t), f mi (π s s,t ) = f mi (π s ) (s,t), (4) onde : V A V é uma operação binária entre o valor de um caminho e um arco que satisfaz as condições: (M) a b a (s,t) b (s,t), (M) a (s,t) a, para a, b V e quaisquer arcos (s,t) A. Uma característica essencial deste modelo de função é que depende apenas do valor de π s, e não de qualquer outra propriedade deste caminho. 5 /

6 Um caminho π t é ótimo se f(π t ) f(τ t ) para qualquer outro caminho τ t, independentemente de sua raiz. Para cada nó t D I, temos um valor único V(t) que armazena o valor de um caminho ótimo com término em t: V(t) = min π t em(d I,A) {f(π t)}. (5) 6 /

7 A transformada imagem-floresta (IFT - Image Foresting Transform) reduz problemas de processamento de imagem baseados em ao cálculo: de uma floresta de ótimos no grafo derivado da imagem, seguido de um pós-processamento simples de atributos da floresta resultante. 7 /

8 Unificação: Vários operadores de imagem são derivados de um algoritmo geral. Isto favorece implementações baseadas em hardware, compreender a relação entre alguns operadores de imagem, possíveis extensões /

9 Eficiência: A maioria dos operadores de imagem implementados em tempo linear e otimizações adicionais são possíveis com cálculo diferencial,e paralelo,e para algumas aplicações específicas. Simplicidade: Os operadores de imagem são reduzidos a escolha de poucos parâmetros no algoritmo da IFT e um processamento local de sua saída. /

10 s de distância e operadores relacionados: Euclidean distance transform,multiscale skeletonization,fractal dimensions,filtragem de formas,shape saliences,descritores de forma,geodesic paths, etc. Filtragem e segmentação de imagens: Morphological reconstructions, segmentação via watershed transforms,perseguição de bordas (live wire, riverbed), growcut por autômato celular,e fuzzy-connected components. Reconhecimento de padrões: Data clustering e classificação supervisionada de padrões. /

11 Um mapa de predecessores é um função P que atribui para cada nó t em D I algum outro nó adjacente em D I, ou uma marca distintiva nil / D I caso em que t é dito ser uma raiz do mapa. Uma floresta de é um mapa de predecessores que não contém ciclos isto é, um que leva cada pixel para nil em um número finito de iterações. Para qualquer pixel t D I, uma floresta de P define um caminho π P t recursivamente como t se P(t) = nil e π P s s,t se P(t) = s nil. /

12 R(t) (a) πt P(t) t r O predecessor P(t) de cada nó t leva a um nó raiz R(t) e P(R(t)) = nil. Um caminho π t é trivial quando π t = t (i.e., P(t) = nil). (b) r π s (c) s t /

13 A IFT essencialmente generaliza o algoritmo de Dijkstra para funções de mais gerais. /

14 Para uma dada função de custo de caminho f: Caminho hereditariamente ótimo: Um caminho π tn = t,t,...,t n é hereditariamente ótimo se todos π ti = t,t,...,t i, i =,,...,n são ótimos. Função de caminho monotônica: A função f é monotônica se para qualquer caminho π tn = t,t,...,t n em G temos que f( t,...,t i ) f( t,...,t j ) sempre que i j n. Propriedade de substituição: A função f tem a propriedade de substituição se para quaisquer π s e π s terminando em s tal que f(π s ) = f(π s), temos que f(π s s,t ) = f(π s s,t ), para qualquer s D I e s,t A. 4 /

15 Para um dado grafo de imagem G = D I,A, considere uma função de caminho monotônica f com a propriedade de substituição. Seja O o conjunto de todos pixels t D I, tal que existe um caminho hereditariamente ótimo π t para f. Em qualquer floresta de P calculada em G pelo algoritmo da IFT para f, todos os τ P t com t O são ótimos. 5 /

16 Algoritmo Algoritmo geral da IFT Entrada: Imagem Î = (D I, I), adjacência A, e função de f. Saída: Auxiliares: Imagens ˆP = (D I,P) de predecessores, e ˆV = (D I,V ) de. Fila de Q, variável tmp, e vetor de estado inicialmente zerado.. Para Cada t D I, Faça P(t) nil e V (t) f( t ). Se V (t) +, Então insira t em Q.. Enquanto Q, Faça. Remova um pixel s de Q cujo valor V (s) seja minimo. 4. estado(s). 5. Para Cada t A(s), tal que estado(t) =, Faça 6. tmp f(πs P s,t ). 7. Se tmp < V (t), Então. Se V (t) +, Então remova t de Q.. P(t) s, V (t) tmp, e insira t em Q. 6 /

17 7 5 7 /

18 7 5 após iteração. 7 /

19 7 5 após iterações. 7 /

20 7 5 após iterações. 7 /

21 após 4 iterações. 7 /

22 após 5 iterações. 7 /

23 após 6 iterações. 7 /

24 após 7 iterações. 7 /

25 após iterações. 7 /

26 após iterações. 7 /

27 7 5 após iterações. 7 /

28 7 5 após iterações. 7 /

29 7 5 após iterações. 7 /

30 7 5 após iterações. 7 /

31 7 5 após 4 iterações. 7 /

32 7 5 após 5 iterações. 7 /

33 7 5 após 6 iterações. 7 /

34 7 5 após 7 iterações. 7 /

35 7 5 após iterações. 7 /

36 7 5 após iterações. 7 /

37 7 5 após iterações. 7 /

38 7 5 após iterações. 7 /

39 7 5 após iterações. 7 /

40 7 5 após iterações. 7 /

41 7 5 após 4 iterações. 7 /

42 7 5 após 5 iterações. 7 /

43 O que fazer quando um pixel é alcançado por dois ou mais de mesmo custo? Exemplos de tie-breaking. (a) Poĺıtica FIFO. (b) Poĺıtica LIFO. (c) Poĺıtica FIFO com adjacência vizinhos-. /

44 t 4 t 5 t t 6 t t K K t t (a) Estrutura de Dial para a fila Q. (b) Estrutura proposta por Falcão. K K t 4 t 5 t 6 t /