Descritores de Imagem (introdução)

Transcrição

1 Descritores de Imagem (introdução) André Tavares da Silva

2 Roteiro da aula Definição de descritor de imagem Extração de Característica Tipos Geral x Específico Global (cor, textura, forma,...) x Local Considerações sobre imagem Representação de imagem PI baseada em grafos Rotulação em imagem (pixels) Múltiplas escalas Medidas de avaliação de descritores

3 Descritores de Imagem Existem três bases fundamentais para recuperação de conteúdo baseado em imagem: extração de característica indexação / métrica de comparação projeto do sistemas de classificação. Esta aula tem por objetivo fazer uma breve classificação das principais técnicas de extração de características (descritores).

4 Extração de Características A percepção visual dos objetos é subjetiva e por isso não existe uma única representação e nem mesmo uma melhor representação para uma dada característica. Como será apresentado a seguir, para cada característica existem várias representações distintas.

5 Extração de Características

6 Extração de Características A extração de características (descritores) é a base da recuperação de informação visual. Em imagens, estas características podem ser classificados como sendo de domínio geral ou de domínio específico. O primeiro inclui características de cor, textura e forma, enquanto a última é dependente da aplicação, como por exemplo, classificação de impressão digital, placas de veículos, etc.

7 Domínio Geral x Específico As características de domínio específico é melhor apresentado na literatura que trata do padrão a ser reconhecido e envolve o conhecimento de características muito particulares ao problema em questão. Aqui serão apresentados alguns descritores com características mais gerais que podem ser utilizadas em diferentes aplicações.

8 Descritores Locais x Globais Descritores Locais Descritores locais de imagem, calculados em regiões ao redor de pontos de interesse (na maioria das vezes vértices de contornos ou blobs) na imagem.ex.: PCA- SIFT, SIFT, GLOH, SURF, DAISY Eles são encontrados por detectores de pontos (Harris-Affine, Hessian-Affine, Fast Hessian, MSER, DoG) e possuem normalmente as seguintes informações: uma coordenada 2D na imagem, uma orientação, uma escala e características de uma região em torno do ponto.

9 Descritores Locais x Globais Descritores Globais Abordagem tradicional de classificação de imagem. Consideram a imagem como um todo, descrevendo imagens baseadas nas informações de cor, textura e/ou forma.

10 Descritores baseados em Cor A cor é provavelmente a característica mais utilizada para recuperação visual. Ela é relativamente robusta por apresentar independência do tamanho da imagem e da orientação da mesma. Uma vantagem do uso desse tipo de descritor é que as cores podem ser facilmente associadas a descrições textuais (nome da cor), facilitando a utilização em muitos sistemas CBIR.

11 Descritores baseados em Cor Os modelos de cor podem ser classificados em orientados ao hardware (RGB, CMY, YIQ) e orientados ao usuário (HSI, HSV, HSB, MTM, L*u*v*, L*a*b* e L*C*h*). RGB é o espaço de cores mais utilizado para imagens digitais, mas não é uniforme: a percepção da diferença de cor não apresenta relação com a distância euclidiana no espaço de cores. HSI, HSV e HSB, apesar de serem modelos orientados ao usuário, apresentam o mesmo problema do RGB, por apresentarem uma escala não uniforme.

12 Descritores baseados em Cor Portanto, os outros espaços de cor (MTM, L*u*v*, L*a*b* e L*C*h*) são mais adequados para recuperação de informação visual. Apesar disso, a maioria dos classificadores utilizam RGB ou HSV para descrição das cores.

13 Descritores baseados em Textura Textura é uma propriedade presente em praticamente todas as estruturas, como nuvens, vegetação, paredes, cabelo e outros. Ela contém informação importante sobre o arranjo estrutural da superfície e sua relação com o ambiente. Por ser um padrão útil e importante em visão computacional e reconhecimento de padrão, é uma área de pesquisa rica em pesquisa das últimas décadas. Atualmente, são encontradas muitas pesquisas na área de recuperação de informação visual baseada em textura.

14 Descritores baseados em Textura Uma técnica muito popular para descrição de texturas é a utilização do máximo espectro de Fourier. Os padrões de textura estão normalmente associados a picos no espectro de Fourier da imagem, que podem ser detectados como máximos regionais na imagem de magnitude do espectro. O valor e a localização dos picos podem ser usados como características. As localizações descrevem a direção e a periodicidade da textura.

15 Descritores baseados em Forma Os primeiros descritores de forma se resumiam em definir informações simples como comprimento, perímetro, área e algumas relações entre essas medidas (regularidade e compacidade) de um conjunto de pixels que representam um objeto. Mais tarde, outros descritores mais complexos foram definidos, como os pontos de saliência.

16 Descritores de Imagem Objetos em imagens possuem forma, cor, e textura. Estas propriedades podem ser mensuradas e a medida é denominada característica de imagem. Estas características são normalmente agrupadas em um vetor de escalares, denominado descritor de imagem. Neste sentido, cada objeto (ou imagem) é representado por um ponto no espaço R n, para n características. É desejável que um descritor seja invariante a transformações afins.

17 Descritores de Imagem Estes descritores são as vezes denominados assinaturas e podem requerer funções mais complexas de distância do que uma simples métrica Euclideana para comparação. O par descritor de imagem e função de distância descreve como as imagens de uma coleção estão distribuídas no espaço de características (medida). Neste sentido, o par é denominado descritor de uma coleção (ou base) de imagens.

18 Histograma de cor Podemos dividir cada eixo do espaço de cor (e.g, RGB de 24bits) em 4 partes e montar um histograma com 64 bins. O índice (bin) do vetor de características (descritor) será dado por: ind = (R/64) + 4(G/64) + 16(B/64)

19 Características de textura Estatísticas: momentos, matriz de co-ocorrência. Estruturais: granulometria. Espectrais: máximos do espectro de Fourier

20 Momentos do Histograma de Brilho Seja l o brilho de uma imagem (ou objeto) e h(l), l=0,1,...,l 1, o seu histograma normalizado. O n-ésimo momento central é dado por: onde μ é o brilho médio.

21 Momentos do Histograma de Brilho Quando n=2, nós temos a variância (contraste) μ 2 = σ 2. Os momentos μ 3 e μ 4 medem skewness (assimetria em relação ao centro) e kurtosis (concentração em torno da média). Podemos usar, por exemplo, R=1 1/(1+σ2) como medida de contraste. Momentos de mais alta ordem não estão relacionados com a forma do histograma.

22 Matriz de co-ocorrência Haralick et al. (1973) apresentaram a matriz de coocorrência dos níveis de cinza, que representa a distância e as relações espaciais angulares sobre uma sub-região de uma imagem de tamanho especificado. Cada elemento é uma medida de probabilidade de ocorrência de valores de níveis de cinza separados por uma dada distância numa dada direção. Pode ser denominada como sendo um histograma bidimensional que fornece a frequência de ocorrência P(i,j,d,θ), de um determinado par de níveis de cinza i e j, numa determinada distância d e uma direção θ.

23 Matriz de co-ocorrência Considere a imagem ao lado (níveis de cinza) em Q=(1,0). Cada pixel dentro da janela vai se tornar o pixel referência, começando pelo pixel do canto superior esquerdo. No exemplo os pixels da borda direita não possuem vizinho da direita e portanto não serão usados para o cálculo. Monte uma matriz G para um dado deslocamento d e L intensidades i,j, por: G(i,j) = {(x,y) f(x,y) = i, f(x+dx, y+dy) = j }

24 Matriz de co-ocorrência Considerando a configuração da posição relativa Q=(1,0), a matriz tende a ser esparsa para mais níveis de intensidade. É comum usar 8 ou 16 níveis de cinza apenas para diminuir o tamanho da matriz e a complexidade computacional.

25 Matriz de co-ocorrência O número total de pares de pixels que satisfazem Q é igual a soma dos elementos da matriz G, e p i,j = g i,j /n é a estimativa da probabilidade que um par de pontos que satisfaçam Q tenham valores (z i,z j ). Matriz normalizada:

26 Matriz de co-ocorrência Para quantificar o conteúdo de cada matriz de coocorrência, precisamos de descritores como de Haralick: Probabilidade máxima, Correlação, Contraste, Uniformidade (Energia), Homogeneidade e Entropia. Sejam as médias m e variâncias σ 2 das linhas r das linhas r e colunas c dada por:

27 Matriz de co-ocorrência Probabilidade máxima: resposta mais forte de G: max p i,j Correlação: entre pixels referência e seus vizinhos na imagem inteira, Intervalo [ 1,1] e requer σ r 0 e σ c =0: Contraste: de intensidade entre pixels referência e seus vizinhos na imagem inteira, intervalo [0,(L 1) 2 ]

28 Matriz de co-ocorrência Uniformidade (energia): da imagem, intervalo [0,1], sendo 1 para imagem constante. Homogeneidade: medida da autocorrelação espacial, intervalo [0,1], sendo 1 para G diagonal. Entropia: aleatoriedade de elementos de G, intervalo [0,2log 2 L].

29 Matriz de co-ocorrência - exemplo

30 Granulometria Ao simplificarmos uma imagem variando o parâmetro de um operador morfológico, os resíduos de cada duas operações sucessivas descrevem as estruturas que estão sendo filtradas na imagem. Para n instâncias deste parâmetro, consideramos o percentual de pixels com valor maior que 0 em cada imagem residual. Estas medidas formam uma distribuição normalizada, cujos valores ou momentos (momentos granulométricos) podem ser usados para gerar o descritor.

31 Granulometria As operações mais usadas são h-domes (h-basins), top-hat, top-hat por reconstrução, e resíduos de abertura (fechamento) por área (volume). A forma e o tamanho do elemento estruturante deve ser associada ao tipo de textura que estamos querendo representar.

32 Momentos Invariantes

33 Momentos Invariantes Sete invariantes de momentos (Hu, 1962) são definidos como medidas invariantes à rotação, translação, e escala.

34 Máximos do Espectro de Fourier Padrões de textura estão normalmente associados a picos no espectro de Fourier da imagem. Estes picos podem ser detectados como máximos regionais na imagem de magnitude do espectro. O valor e a localização deles podem ser usados como características. As localizações descrevem a direção e a periodicidade da textura.

35 Características simples de forma A forma é representada pelos contornos externo e internos do objeto. Para um dado contorno, vamos assumir então um conjunto de características. Veremos algumas formas simples para descrever a forma de um objeto. Assumimos que temos uma imagem/objeto já segmentados (normalmente uma imagem binária).

36 Perímetro e Área Se o contorno for composto por arestas de pixels, seu perímetro é o número de arestas. Caso seja composto por pixels, seu perímetro é N 4 + 2N 8, onde N 4 é o número de transições entre pixels vizinhos-4 e N 8 é o número de transições entre pixels vizinhos-8. O perímetro também deve levar em conta as dimensões físicas dos pixels, quando esta informação for disponível. A área é o número de pixels de objeto multiplicado pela área física de um pixel.

37 Compacticidade e Regularidade Sejam P e A perímetro e área interna a um contorno. A razão A/P 2 mede a compacticidade do contorno. Um círculo tem alta compacticidade (1/4π) e contornos complexos tendem a ter compacticidade menor. A razão A/A mbb, onde A mbb é a área da minimum bounding box do contorno, mede a regularidade. Essas medidas são adimensionais e independentes de escala.

38 Compacticidade e Regularidade O centroide de um contorno é obtido por onde (x i,y i ) são os pontos do contorno com N pontos. Podemos utilizar a maior e a menor distâncias do contorno ao centroide, ou a razão entre elas como característica (neste caso, adimensional e independente de escala). A variância dessas distâncias mede a circularidade. Obs: Neste caso, as dimensões físicas dos pixels devem ser consideradas no cálculo de distâncias, sempre que possível.