T5 Processamento de Imagem e Vídeo

Transcrição

1 T5 Processamento de Imagem e Vídeo Proc. Sinal e Imagem Mestrado em Informática Médica Hélder Filipe Pinto de Oliveira

2 Resumo 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo

3 1. Segmentação baseada em regiões 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo

4 Motivação Segmentação Fronteiras e thresholds nem sempre eficazes. Regiões homogéneas Region-based segmentation. Eficaz em imagens ruídosas.

5 Definições Baseia-se em conjuntos. A imagem R é um conjunto de regiões R i. Todos os pontos pertencem a uma das regiões. Um ponto apenas pode pertencer a uma única região. R R 2 S 0 i 1 R 1 R 7 R 3 R i j R i R R 6 R 5 R 4 Exemplos de algumas regiões da imagem

6

7

8 R 7 R 6 R 1 R 5 R 2 R 3 R 4

9 Como formar regiões? Region Growing Region Merging Region Splitting Split and Merge Watershed... What a computer sees

10 Region growing Consiste na união/divisão de um conjunto inicial de regiões. Homogeneidade: Cor Textura Outros Divisão Inicial Tipicamente iterativo Como começar? O que fazer em cada iteração? Quando parar? Iteração Condição Paragem Fim

11 Region merging Algoritmo Divisão inicial da imagem em regiões. Definição do critério de união de 2 regiões adjacentes. Unir regiões. Repetir passo anterior até não haver mais uniões.

12 Region splitting Algoritmo Inicialmente usa a imagem completa. Definição do critério de divisão. Divisão iterativa em sub-regiões. Paragem quando falhar o critério de divisão. R 1 R 1 R 2 R 1 R 2 R 3 R 4 R 5 R 6 R 7 R 3 R 4 R 1 R 2 R 3 R 4 R 6 R 5 R 7

13 Split and Merge Combinação dos dois algoritmos. Permite lidar com formas mais variadas. Basta aplicar consecutivamente os algoritmos anteriores.

14 Critério de semelhança Homogeneidade das regiões é usada como critério de semelhança. Nível de cinzento cor, textura forma modelo etc. A escolha do critério afeta drasticamente os resultados da segmentação.

15 A transformada Watershed Inspiração geográfica. Lançar água sobre um terreno montanhoso. Cada lago corresponde a uma região. Características: Computacionalmente complexo. Grande flexibilidade na segmentação. Risco de sobresegmentação.

16 A transformada Watershed Dois pontos estão numa mesma regiões se convergirem para um mesmo ponto. Courtesy of Dr. Peter Yim at National Institutes of Health, Bethesda, MD

17 2. Morfologia matemática 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo

18 Morfologia matemática Desenvolvida para descrever quantitativamente estruturas geométricas Baseada em sets Grupos de pontos que definem áreas de uma imagem Para que servem? Manipulação de imagens binárias. Limpar resultados de uma segmentação! Segmentação de um tumor usando filtros morfológicos

19 Dilatação, Erosão Implicam dois conjuntos: Imagem Kernel morfológico Dilatação (D) União do kernel com todo o conjunto da imagem Aumento da área resultante Erosão (E) Intersecção Diminuição da área resultante

20 Dilatação Examplo usando um kernel 3x3

21 Erosão Examplo usando um kernel 3x3

22 Abertura, Fecho Abertura Erosão, seguida de dilatação. Menos destrutivo do que uma erosão. Adapta a forma da imagem à forma do kernel. Fecho Dilatação, seguida de erosão. Menos destrutivo do que uma dilatação. Tende a fechar as irregularidades das formas.

23 Abertura Examplo usando um kernel 3x3

24 Fecho Examplo usando um kernel 3x3

25 Operações Morfológicas Dilatação Erosão Fecho Abertura

26 Exemplos: Abertura Abertura Tresholding

27 Exemplos: Fecho Fecho

28 Análise de componentes ligados Definimos ligação 4 vizinhos 8 vizinhos Etc. Pesquisamos toda a imagem Recursivamente obtemos todos os pontos ligados ao nosso ponto inicial

29 Chain codes (Lembrar aula TP3) Chains representa a borda dos objetos. Codificar com chain codes. Relativo. Assume um ponto inicial. Precisa de segmentação! Freeman Chain Code Using a Freeman Chain Code and considering the top-left pixel as the starting point:

30 3. K-Means 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo

31 Função objetivo Útil quando sabemos que existem k clusters na imagem? Podemos definir uma função objetivo! Expressa o quão boa é a minha representação.

32 K-means Clustering Assume: Temos k clusters. Cada cluster i tem um centro c i. Elemento j a ser aglomerado é descrito por um vetor de características x j. Função Objetivo: ( clusters, data) T ( x j ci ) ( x j ci ) clusters j cluster ( i) i

33 Passos do Algoritmo Iterativo! Assume que os centro dos clusters são conhecidos e aloca cada ponto ao cluster mais perto. Assume que a alocação é conhecida and e define um novo centro para os clusters. O centro é a media dos ponto alocados aos centros.

34 [Wikipedia]

35 Interactive Java Tutorial

36 4. Processamento vídeo 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo

37 Definições Imagem pode ser representada por uma matriz 2D. O vídeo pode ser representado por uma matriz 3D Dimensão tempo. f(x,y,t) Passamos a ter um gradiente no espaçotempo Movimento Novas capacidades, novos problemas!

38 Fluxo óptico Optical flow is the distribution of apparent velocities of movement of brightness patterns in an image Horn and Schunck 1980 The optical flow field approximates the true motion field which is a purely geomectrical concept..., it is the [2D] projection into the image [plane] of [the sequence s] 3D motion vectors Horn and Schunk 1993 z Motion Plane Criaram o conceito de fluxo óptico y Image Plane x

39 Tipos de métodos de fluxo óptico Differential Horn and Schunck [HS80], Lucas Kanade [LK81], Nagel [83]. Region-based matching Anandan [Anan87], Singh [Singh90], Digital video encoding standards. Energy-based Heeger [Heeg87] Phase-based Fleet and Jepson [FJ90] Problema ainda continua em estudo! As soluções conhecidas ainda não são satisfatórias!

40 Resumo A segmentação é uma operação com um grau de dificuldade muito variável. Uma segmentação baseada em regiões apresenta claras vantagens em relação a thresholding. Pós-processamento através de filtros morfológicos. Movimento, fluxo óptico e compressão vídeo.