Segmentação de Imagem

Transcrição

1 Segmentação de Imagem Em análise de imagem o resultado pretendido não é, geralmente, outra imagem, mas antes uma sua descrição. Essa descrição refere-se, em regra, a partes específicas da imagem ou da cena. O processo de decompor uma imagem nas suas partes constituintes designa-se por segmentação (divisão em segmentos). A segmentação pode ser considerada como um processo de classificação de pixels. Se as classes e as suas probabilidades, bem como as propriedades (p.ex., brilho) e as suas probabilidades por classes, forem conhecidas a priori, a segmentação reduz-se a um problema clássico de decisão estatística. Quando as classes não são conhecidas pode recorrer-se a técnicas de agrupamento (clustering). Exemplo (5 classes): Segmentação - 1 Thresholding A classificação é muitas vezes baseada no histograma de uma propriedade (em geral, o nível de cinzento). Dado o número de pixels numa imagem ser geralmente muito elevado pode-se considerar o histograma como uma boa aproximação à densidade de probabilidade da propriedade que ele representa. Thresholding com 1 único limiar de separação (binarização) A selecção do limiar de separação (separação entre as classes claro e escuro no caso da propriedade ser o brilho) faz-se geralmente no vale do histograma, sendo este bimodal. Segmentação - 2

2 Thresholding (cont.) A localização do vale entre picos de histogramas bimodais não é, geralmente, muito fácil devido ao carácter discreto dos níveis do histograma e à presença de ruído nas imagens - próximo do vale podem existir diversos mínimos locais, não sendo trivial encontrar automaticamente o melhor limiar. Para resolver este problema é frequentemente útil proceder a uma suavização da imagem antes da determinação do histograma (p. ex. usando filtros de média), ou a uma pós-filtragem do histograma (interpretado como um sinal unidimensional). Quando os histogramas são unimodais (ou quando o vale entre picos é pouco acentuado) e se pretende binarizar a imagem, pode-se procurar bimodalizar o histograma recorrendo, por exemplo, ao seguinte método: 1) determinar o gradiente da imagem com um operador diferencial; 2) detectar os pontos de gradiente elevado, isto é, com valor absoluto superior a um determinado valor de referência; 3) criar uma imagem auxiliar eliminando os pontos (p. ex. colocando o valor 0) de gradiente elevado; 4) determinar o histograma da imagem auxiliar e localizar nele o limiar de binarização a ser usado na imagem original. O princípio do método indicado assenta na ideia de que os pontos de gradiente elevado (ou seja, das orlas) apresentam provavelmente valores de brilho intermédios entre os típicos das classes claro e escuro, contribuindo fortemente para o carácter unimodal do histograma original. Segmentação - 3 Thresholding (cont.) Thresholding multinível Certas imagens prestam-se a que se possam considerar mais classes de pixels do que apenas claros e escuros (p. ex. quase brancos, cinzentos claros, cinzentos escuros, quase pretos ); nestes casos os respectivos histogramas devem ser multimodais (quatro modas no exemplo anterior), procedendo-se à localização de múltiplos limiares de separação nos vales entre modas (três limiares no exemplo anterior). Thresholding variável Uma outra forma de se proceder à binarização de uma imagem consiste em subdividi-la num mosaico de sub-imagens, determinando-se o histograma de cada uma dessas sub-imagens; nas sub-imagens em que o histograma seja bimodal determina-se o valor do limiar de separação apropriado; o conjunto de limiares obtido pode então ser usado para, por um método de interpolação, se determinar, para cada ponto da imagem original, o valor de limiar apropriado; o conjunto de todos os limiares pontuais constitui uma superfície de referência para binarização. Este método é muitas vezes útil, em especial quando a iluminação da cena é desigual em diferentes zonas. Segmentação - 4

3 Classificação espectral Thresholding (cont.) Quando cada pixel é caracterizado por um conjunto de medidas relativas a N distintas bandas espectrais (p.ex. em imagens coloridas RGB), a segmentação pode efectuar-se no espaço N-dimensional; p.ex., quando N=2, a separação entre classes pode efectuar-se por meio de segmentos de recta, como se procura ilustrar no diagrama de dispersão seguinte: Banda 2 Classe A Classe B Classe C Banda 1 Observe-se que se apenas se usasse uma das bandas, o correspondente histograma não apresentaria 3 modas que permitissem uma boa segmentação das 3 classes. Segmentação - 5 Thresholding (cont.) Classificação baseada em propriedades locais A segmentação pode ser realizada com base em propriedades derivadas da imagem original. Por exemplo, uma propriedade local que mede o grau de variabilidade de brilhos numa vizinhança 3x3, designada por busyness, pode ser usada para discriminar regiões muito activas de outras com maior constância de brilho: Classificação espacial busyness(e)=min(v x,v y ) v x = A-B + B-C + + H-I v y = A-D + D-G + + F-I A B C D E F G H I Quando a segmentação baseada em thresholding sobre os brilhos da imagem não é suficientemente discriminativa, pode recorrer-se a propriedades locais (de que é exemplo a propriedade de busyness antes definida) para, em combinação com os brilhos, se constituir um espaço de segmentação com N dimensões, no qual será mais fácil encontrar a separação entre as classes (vidé classificação espectral). Segmentação - 6

4 Detecção de orlas Os métodos de thresholding permitem detectar regiões onde existe uma razoável uniformidade nos valores da propriedade local usada. O paradigma associado a essa forma de segmentação pode exprimir-se por detecção de regiões com características de homogeneidade. Alternativamente, um outro paradigma da segmentação pode exprimir-se por detecção de fronteiras com características de descontinuidade. Neste caso, a segmentação tem em vista localizar aquelas zonas da imagem em que a propriedade escolhida (p. ex., o brilho) apresenta grande variabilidade - as orlas da imagem. Operadores diferenciais Uma das formas de detecção de orlas (edge detection) consiste em usar operadores diferenciais, a cujos resultados se aplicam métodos de segmentação do mesmo tipo do thresholding. Já antes foram referidos os operadores do tipo laplaciano, que aproximam a segunda derivada espacial da imagem. No entanto, dada a sua sensibilidade ao ruído, a detecção de orlas com laplacianos em regra só se aplica quando precedida de um operador de suavização forte, como por exemplo um filtro de média pesada de grande dimensão, com pesos seleccionados de acordo com a função de Gauss - filtros LoG (Laplacian of Gaussian). Segmentação - 7 Detecção de orlas Os operadores diferenciais de pequena dimensão mais utilizados procuram uma boa aproximação ao gradiente da imagem. Estes operadores utilizam duas janelas de convolução cujos resultados são combinados para se obterem duas propriedades locais - a amplitude e a direcção do gradiente. Mostram-se de seguida alguns dos operadores de gradiente mais comuns A A 0 A A -1 gradiente digital Prewitt (A=1) / Sobel (A=2) As propriedades amplitude e direcção do gradiente são calculadas a partir da combinação das respostas, em cada ponto, à janela horizontal (δx) e à janela vertical (δy) do operador (nas figuras acima as janelas horizontais são as da esquerda). amplitude: direcção: 2 2 ( ) δx + δy ou max δx, δy ou δx + δy ( δ δ ) arctg y x Segmentação - 8

5 Correspondência com máscaras Detecção de orlas Em vez de se usarem operadores diferenciais, pode realizar-se a convolução da imagem com um conjunto de máscaras que representam, no caso de janelas 3x3, as oito rotações possíveis de um núcleo-base de coeficientes. Por exemplo, podem usar-se máscaras como as seguintes (as quatro restantes máscaras são facilmente obtidas a partir das mostradas): gradiente compasso máscaras de Kirsch (compass gradients) Em cada ponto da imagem, o gradiente é dado pelo valor e orientação que corresponde à máscara que produz resposta máxima. Segmentação - 9 Detecção de orlas Operadores de ajuste Muitos dos operadores mais poderosos (e também computacionalmente mais pesados) para detecção de orlas - Hueckel, Canny, Deriche, - cabem na categoria dos operadores de ajuste. Estes operadores usam um modelo da orla descrito por uma função específica; o modelo exige em geral a definição de vizinhanças muito amplas. A função-modelo é expandida num conjunto de funções-base ortogonais. Em cada ponto da imagem, esta é expandida nas funções-base do operador, estimando-se os respectivos coeficientes de modo a minimizar a distância entre a imagem e a orla-modelo. Num exemplo trivial pode usar-se como modelo de orla uma função com uma descontinuidade em degrau entre dois valores, orientada numa dada direcção: Modelo: s(x,y) b a ϕ Imagem: f(x,y) A C B D Segmentação - 10

6 Detecção de orlas Funções-base (0, 1 e 2): O ajuste entre a imagem e o modelo faz-se por intermédio das suas expansões nas funções-base (coeficientes para a imagem: f 0, f 1 e f 2 ; coeficientes para o modelo: s 0, s 1 e s 2 ). Trata-se de minimizar a medida de distância entre imagem e modelo, o que pode ser feito por meio da soma das diferenças quadráticas dos coeficientes: E 2 =(f 0 -s 0 ) 2 +(f 1 -s 1 ) 2 +(f 2 -s 2 ) 2 A solução para o 1º quadrante é dada por: ( 1 B C ) a S A D b S A D [ S A B C D] π 4 A D ϕ = = = + = Para se verificar a qualidade dos resultados pode-se efectuar um teste com a imagem formada, por exemplo, pelos valores: A=1, B=2, C=3, D=4. Segmentação - 11 Detecção de linhas e curvas Para se detectarem numa imagem as linhas (segmentos de recta) e as curvas que nela estejam presentes podem-se usar operadores lineares 3x3 para filtrar a imagem, com os coeficientes escolhidos de modo a que o filtro produza respostas elevadas quando centrado em pontos da linha e baixas quando localizado fora delas; as linhas são entendidas como estruturas aproximadamente lineares, delgadas, e constituídas por pontos consistentemente mais claros (ou mais escuros, caso em que a resposta do filtro será muito negativa) do que os seus vizinhos. Para as quatro direcções principais, os coeficientes dos filtros podem ser como a seguir (linhas horizontais, verticais e diagonais): -½ -½ -½ -½ 1 -½ -½ -½ 1 1 -½ -½ ½ 1 -½ -½ 1 -½ -½ 1 -½ -½ -½ -½ -½ 1 -½ 1 -½ -½ -½ -½ 1 Quando algum dos filtros apresenta uma resposta elevada (em valor absoluto), pode-se assumir estar em presença de um ponto pertencente a uma linha fina com a correspondente orientação (ou orientação aproximada). No entanto, como facilmente se pode verificar, os filtros antes referidos também apresentam respostas elevadas quando situados sobre orlas ou pontos isolados com grande contraste. Segmentação - 12

7 Detecção de linhas e curvas Para que os filtros anteriores se tornem selectivos em relação a linhas, é necessário introduzir uma não-linearidade, constituindo-se um operador não-linear que atribui: o mesmo valor do filtro linear, quando o ponto central e os seus vizinhos na direcção da linha são maiores (ou menores, para linhas escuras) do que os respectivos vizinhos na direcção perpendicular à linha; o valor 0, quando não se verificam as condições anteriores. Para detecção de linhas espessas, podem substituir-se os pixels por médias em vizinhanças adjacentes (não sobrepostas) e aplicar os operadores para linhas delgadas. De modo semelhante podem projectar-se filtros para detectar outras estruturas nas imagens, como por exemplo terminações de linhas, cantos, entroncamentos e cruzamentos de linhas. Segmentação - 13 Transformadas de Hough As transformadas de Hough são métodos gerais para detecção de linhas (ou de outras curvas, como elipses), em que o espaço-imagem dos pixels é transformado num outro espaço de representação; após transformação de todos os pixels detectados (por exemplo, por um detector de linhas ou de orlas), a detecção das linhas faz-se no espaço transformado e, por transformação inversa, obtém-se a expressão analítica dessas linhas no espaço-imagem original. São da família das transformadas de Hough os métodos descritos nos dois exemplos seguintes: Exemplo 1: detectar as linhas que passam por um dado ponto P Tomando P como origem, construir um vector transformado e, para cada ponto detectado, incrementar o vector no endereço dado por ω = yi xi. Após transformação de todos os pontos detectados, o vector apresentará contagens muito elevadas nos endereços que correspondem ao coeficiente angular das rectas passantes por P, na imagem dada. Segmentação - 14

8 Transformadas de Hough Exemplo 2: detectar as linhas com inclinação θ Projectar os pontos detectados na imagem, numa direcção perpendicular a θ, e colocar as projecções num vector. Para detectar todas as possíveis linhas rectas, o espaço transformado de Hough deve ser bidimensional (uma matriz, em vez de um vector), usando-se, por exemplo, a seguinte transformação: para cada ponto ( xi, yi ) detectado na imagem, incrementar na matriz transformada, de coordenadas ( u, v), os pontos pertencentes à recta v = xiu + yi. Após transformação de todos os pontos, a matriz apresentará máximos acentuados em pontos ( uk, vk ) que, por transformação inversa, permitem definir as rectas existentes na imagem original: y = uk x + vk. A transformação de cada ponto da imagem original é feita de tal modo que, se vários pontos são colineares, então as correspondentes rectas no espaço transformado intersectam-se num único ponto. Segmentação - 15 Segmentação sequencial Os métodos de segmentação baseados em thresholding dizem-se paralelos, no sentido em que o resultado obtido para um pixel não depende dos resultados dos restantes, pelo que o processamento da imagem completa poderia fazer-se simultaneamente (em paralelo) para todos os pixels, atribuindo a cada um o seu processador. Outros métodos são inerentemente sequenciais, isto é, o resultado de um pixel depende do prévio processamento de outros. Raster tracking (seguimento por varrimento) Neste método de detecção de linhas (ou de orlas, se a imagem tiver sido submetida previamente a realce de orlas), usa-se o varrimento normal de TV para aceder sequencialmente aos pontos da imagem; para detecção de linhas aproximadamente verticais, considera-se, para cada ponto, que ele pertence a uma linha se se verificar uma das seguintes condições: o valor do ponto excede o limiar de detecção (critério muito exigente); o valor do ponto excede o limiar de agregação (critério menos exigente) e, além disso, pelo menos um dos seus vizinhos imediatos na linha anterior pertence à linha. Segmentação - 16

9 Segmentação sequencial Exemplo de raster tracking: critério de detecção: >6; critério de agregação: >3; os pontos de linhas são os que se assinalam por D (detectados) e por A (agregados); os restantes não pertencem a linhas; observe-se que por thresholding não era possível efectuar uma segmentação tão limpa D D A A D A A D A D D A A A A A A A D A Note-se que os resultados não seriam os mesmos se a imagem estivesse rodada de 180º; por essa razão, o método deve ser aplicado em dois varrimentos: primeiro de cima para baixo e, depois, de baixo para cima, juntando-se os pixels detectados em ambos os varrimentos. Para se efectuar a detecção de linhas aproximadamente horizontais, usa-se o mesmo método, embora precedido e seguido de rotação da imagem de 90º. Para se efectuar tracking omnidireccional, pode-se juntar os resultados obtidos pelo detector de linhas verticais com o detector de linhas horizontais. Segmentação - 17 Segmentação sequencial Region growing (crescimento de regiões) Neste método de segmentação sequencial de regiões também se usa um critério de detecção muito exigente, seguido de um critério de agregação mais brando que permite juntar outros pontos à região já detectada desde que estes cumpram o critério de agregação e, além disso, sejam vizinhas da região. Os pontos que satisfazem o critério de detecção funcionam como sementes, a partir das quais as regiões crescem. Um exemplo trivial, mostrado a seguir, usa como critério de detecção: >8, e como critério de agregação: diferença para a média inferior a A A D A D A D A A A =9 =8.25 =8 Observe-se que após o terceiro passo, a região detectada não cresce mais; o critério de paragem do algoritmo consiste, então, em atingir-se um passo no qual mais nenhum ponto é agregado à região. Os critérios de agregação devem ser muito bem concebidos, de forma a que a paragem se efectue antes de que a região possa crescer em demasia. Segmentação - 18

10 Segmentação sequencial Split & merge (subdivisão e fusão sistemáticas) O objectivo é o de efectuar uma partição da imagem em regiões homogéneas; a técnica consiste em, começando com uma partição arbitrária, ir melhorando sucessivamente a partição por meio de subdivisões e fusões alternadas. Por exemplo, avaliando-se a homogeneidade pelo valor médio dos brilhos na partição, e medindo-se a qualidade da partição pelo desvio padrão dos mesmos brilhos, a segmentação pelo método split & merge ocorreria como se mostra no caso unidimensional seguinte: partição inicial 1ª subdivisão 1ª fusão Segmentação - 19 Matching Uma outra forma de segmentação pode ser usada quando se conhecem os objectos ou estruturas presentes na imagem. Trata-se de procurar na imagem uma instância de um modelo pré-determinado - estabelecimento de correspondências (matching). Este método tem inúmeras aplicações, nomeadamente: Alinhamento de diferentes imagens da mesma cena Detecção de protótipos (template matching) Detecção de características (feature matching) Correspondência em sequências de imagens (, ) ( ) Dispõe-se de um padrão f i j cuja ocorrência na imagem g i, j se procura detectar. Para o efeito desloca-se o padrão para todas as posições possíveis na imagem, e mede-se, em cada posição, o grau de semelhança entre o padrão e a imagem, na área em que se sobrepõem ( ). Medidas de dissemelhança (mismatch) comuns são: ( ) max f g f g f g A última, por expansão da potência, permite obter uma medida de semelhança (match): fg [ f g ( f g) ] = Segmentação - 20

11 Matching A expressão obtida é o coeficiente de correlação cruzada que, de acordo, com a desigualdade de Cauchy, verifica a relação: 2 2 C fg = fg f g A igualdade verifica-se apenas quando a imagem e o padrão, na área de sobreposição, forem proporcionais. Portanto, para se encontrar a correspondência, é necessário encontrar aquela(s) posição(ões) em que o coeficiente de correlação cruzada é máximo. Deve ter-se em conta, no entanto, que o coeficiente de correlação depende do conteúdo da imagem, pelo que se deve efectuar uma normalização que anule essa dependência, isto é, deve usar-se o coeficiente de correlação cruzada normalizada: No caso de a imagem e o padrão serem binários, não é necessária a normalização, podendo usar-se apenas a expressão seguinte, em que f é o padrão negado. C fg g 2 ( ) f f g Segmentação - 21 Matching A anterior expressão pode ser interpretada como: contar o número de 1 s da imagem que coincidem com 1 s do padrão e subtrair o número de 1 s da imagem que coincidem com 0 s do padrão. Um resultado importante, no caso de imagens binárias, é o que indica ser mais selectiva a correspondência quando esta se faz entre os contornos da imagem e os contornos do padrão, em relação à correspondência directa entre imagem e padrão. Exercício: Para a imagem e padrão seguintes (os pontos da imagem não preenchidos devem ser entendidos como 0 s), determinar: a) o coeficiente de correlação normalizado; b) a correlação binária; c) a correlação binária entre contornos g f Segmentação - 22