T5 Processamento de Imagem e Vídeo Proc. Sinal e Imagem Mestrado em Informática Médica Hélder Filipe Pinto de Oliveira
Resumo 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo
1. Segmentação baseada em regiões 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo
Motivação Segmentação Fronteiras e thresholds nem sempre eficazes. Regiões homogéneas Region-based segmentation. Eficaz em imagens ruídosas.
Definições Baseia-se em conjuntos. A imagem R é um conjunto de regiões R i. Todos os pontos pertencem a uma das regiões. Um ponto apenas pode pertencer a uma única região. R R 2 S 0 i 1 R 1 R 7 R 3 R i j R i R R 6 R 5 R 4 Exemplos de algumas regiões da imagem
R 7 R 6 R 1 R 5 R 2 R 3 R 4
Como formar regiões? Region Growing Region Merging Region Splitting Split and Merge Watershed... What a computer sees
Region growing Consiste na união/divisão de um conjunto inicial de regiões. Homogeneidade: Cor Textura Outros Divisão Inicial Tipicamente iterativo Como começar? O que fazer em cada iteração? Quando parar? Iteração Condição Paragem Fim
Region merging Algoritmo Divisão inicial da imagem em regiões. Definição do critério de união de 2 regiões adjacentes. Unir regiões. Repetir passo anterior até não haver mais uniões.
Region splitting Algoritmo Inicialmente usa a imagem completa. Definição do critério de divisão. Divisão iterativa em sub-regiões. Paragem quando falhar o critério de divisão. R 1 R 1 R 2 R 1 R 2 R 3 R 4 R 5 R 6 R 7 R 3 R 4 R 1 R 2 R 3 R 4 R 6 R 5 R 7
Split and Merge Combinação dos dois algoritmos. Permite lidar com formas mais variadas. Basta aplicar consecutivamente os algoritmos anteriores.
Critério de semelhança Homogeneidade das regiões é usada como critério de semelhança. Nível de cinzento cor, textura forma modelo etc. A escolha do critério afeta drasticamente os resultados da segmentação.
A transformada Watershed Inspiração geográfica. Lançar água sobre um terreno montanhoso. Cada lago corresponde a uma região. Características: Computacionalmente complexo. Grande flexibilidade na segmentação. Risco de sobresegmentação.
A transformada Watershed Dois pontos estão numa mesma regiões se convergirem para um mesmo ponto. Courtesy of Dr. Peter Yim at National Institutes of Health, Bethesda, MD
2. Morfologia matemática 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo
Morfologia matemática Desenvolvida para descrever quantitativamente estruturas geométricas Baseada em sets Grupos de pontos que definem áreas de uma imagem Para que servem? Manipulação de imagens binárias. Limpar resultados de uma segmentação! Segmentação de um tumor usando filtros morfológicos
Dilatação, Erosão Implicam dois conjuntos: Imagem Kernel morfológico Dilatação (D) União do kernel com todo o conjunto da imagem Aumento da área resultante Erosão (E) Intersecção Diminuição da área resultante
Dilatação Examplo usando um kernel 3x3
Erosão Examplo usando um kernel 3x3
Abertura, Fecho Abertura Erosão, seguida de dilatação. Menos destrutivo do que uma erosão. Adapta a forma da imagem à forma do kernel. Fecho Dilatação, seguida de erosão. Menos destrutivo do que uma dilatação. Tende a fechar as irregularidades das formas.
Abertura Examplo usando um kernel 3x3
Fecho Examplo usando um kernel 3x3
Operações Morfológicas Dilatação Erosão Fecho Abertura
Exemplos: Abertura Abertura Tresholding
Exemplos: Fecho Fecho
Análise de componentes ligados Definimos ligação 4 vizinhos 8 vizinhos Etc. Pesquisamos toda a imagem Recursivamente obtemos todos os pontos ligados ao nosso ponto inicial
Chain codes (Lembrar aula TP3) Chains representa a borda dos objetos. Codificar com chain codes. Relativo. Assume um ponto inicial. Precisa de segmentação! Freeman Chain Code Using a Freeman Chain Code and considering the top-left pixel as the starting point: 70663422
3. K-Means 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo
Função objetivo Útil quando sabemos que existem k clusters na imagem? Podemos definir uma função objetivo! Expressa o quão boa é a minha representação.
K-means Clustering Assume: Temos k clusters. Cada cluster i tem um centro c i. Elemento j a ser aglomerado é descrito por um vetor de características x j. Função Objetivo: ( clusters, data) T ( x j ci ) ( x j ci ) clusters j cluster ( i) i
Passos do Algoritmo Iterativo! Assume que os centro dos clusters são conhecidos e aloca cada ponto ao cluster mais perto. Assume que a alocação é conhecida and e define um novo centro para os clusters. O centro é a media dos ponto alocados aos centros.
[Wikipedia]
Interactive Java Tutorial http://home.dei.polimi.it/matteucc/clustering/tutorial_html/appletkm.html
4. Processamento vídeo 1. Segmentação baseada em regiões 2. Morfologia matemática 3. K-Means 4. Processamento vídeo
Definições Imagem pode ser representada por uma matriz 2D. O vídeo pode ser representado por uma matriz 3D Dimensão tempo. f(x,y,t) Passamos a ter um gradiente no espaçotempo Movimento Novas capacidades, novos problemas!
Fluxo óptico Optical flow is the distribution of apparent velocities of movement of brightness patterns in an image Horn and Schunck 1980 The optical flow field approximates the true motion field which is a purely geomectrical concept..., it is the [2D] projection into the image [plane] of [the sequence s] 3D motion vectors Horn and Schunk 1993 z Motion Plane Criaram o conceito de fluxo óptico y Image Plane x
Tipos de métodos de fluxo óptico Differential Horn and Schunck [HS80], Lucas Kanade [LK81], Nagel [83]. Region-based matching Anandan [Anan87], Singh [Singh90], Digital video encoding standards. Energy-based Heeger [Heeg87] Phase-based Fleet and Jepson [FJ90] Problema ainda continua em estudo! As soluções conhecidas ainda não são satisfatórias!
Resumo A segmentação é uma operação com um grau de dificuldade muito variável. Uma segmentação baseada em regiões apresenta claras vantagens em relação a thresholding. Pós-processamento através de filtros morfológicos. Movimento, fluxo óptico e compressão vídeo.