Processamento de Imagem

Transcrição

1 Universidade de Aveiro Departamento de Electrónica, Telecomunicações e Informática Processamento de Imagem Detecção de Arestas, Segmentação e Morfologia Matemática Computação Visual Beatriz Sousa Santos, J. Madeira

2 I- Detecção de Arestas Origem e natureza das arestas Detecção de arestas Processamento global e transformada de Hough Não iremos falar Arestas e segmentação detecção explícita de arestas ou seguimento de contornos 2

3 Um processo simples de detecção de arestas aplicado a imagens de complexidade diferente 3

4 Aresta ideal: I.1- Origem e natureza das arestas I(x) As arestas ajudam a revelar o conteúdo de uma imagem A sua detecção é dificultada por: ruído arestas não ideais Têm várias origens: Silhuetas de objectos Descontinuidades das normais às superfícies Descontinuidades de iluminação Descontinuidades de reflectividade dos objectos Aresta não ideal: I(x) 4

5 Exemplo 5

6 I- Detecção de Arestas As arestas são geralmente detectadas em dois passos: Aplicando uma máscara (aproximação de uma derivada) Agregando os pixels detectados (edgels) em arestas 1ª derivada A figura resume o princípio da utilização de derivadas: A 1ª derivada é: > ou < 0, dependendo da direcção de variação de I(x,y) = 0 em áreas de intensidade constante 2ª derivada A 2ª derivada passa por 0 nas arestas positivas e nas negativas 6

7 1ª Derivada 7

8 1ª Derivada Como estimar de modo simples? 8

9 Derivadas Parciais e Gradiente 9

10 Exemplo 10

11 Detecção de arestas com operadores de derivada O gradiente de uma imagem f(x,y) aponta na direcção de variação mais rápida da intensidade Direcção do gradiente Amplitude do gradiente: 11

12 Como se pode diferenciar uma imagem discreta f(x,y)? Uma opção é calcular as diferenças finitas: e aplicar a máscara correspondente Há vários operadores que aproximam o gradiente usados para detectar arestas: Roberts Prewitt Sobel 12

13 Como aplicar? 13

14 Operador de Prewitt e Operador de Sobel 14

15 Detecção de arestas com orientação pré-definida Operador de Prewitt

16 Operador de Sobel

17 Operador de Sobel Imagem original imagem resultante Imagens resultantes da aplicação do gradiente em x e em y 17

18 Operador de Roberts 18

19 Operador de Kirsch 19

20 Detectores de arestas com propriedades combinadas Há detectores que combinam várias propriedades numa única máscara para lidar com várias questões: Contraste e orientação das arestas Magnitude e orientação do gradiente Ruído Escala Consideremos duas abordagens: Marr-Hildreth Canny 20

21 Detector de Marr-Hildreth (1980) - É baseada numa presumível função de baixo nível dos sistemas visuais biológicos - A máscara é uma combinação de: - uma função Gaussiana suavizadora - um operador Laplaciano de derivada (2ª ordem) Secção da função contínua (que tem simetria circular) Implementação digital do filtro de Marr-Hildreth 21

22 - A máscara deve ser muito maior do que as anteriores (por questões de precisão) - O desvio padrão σ da Gaussiana controla a sua largura -Quanto maior for σ maior a suavização Depois de filtrada com: σ=1,5 σ=5 - Depois da suavização são detectadas as passagens por zero - O valor de σ pode ser usado para extrair detalhe das arestas a escalas diferentes Cruzamentos em zero das imagens filtradas Cruzamentos em zero comuns a ambas imagens M H = r 2 σ 2 exp -r 2 σ 4 2 σ 2 22

23 Outros exemplos Marr, Hildreth,

24 Marr- Hildreth em imagens a cores 24

25 Detector de Canny (1986) É um processo com várias etapas que permite detectar arestas atenuando também o ruído Por vezes referido como optimal edge detector (óptimo para arestas bem definidas com ruído branco) Como o detector de Marr-Hildreth também usa um smoothing Gaussiano e um Laplaciano, mas usa informação direccional do gradiente Detecta as arestas através das passagens por zero da 2ª derivada da imagem suavizada com um filtro Gaussiano 1D na direcção do gradiente

26 Detector de Canny Objectivos: Minimizar arestas falsas Melhor localização 26

27 Imagem original componentes x e y da convolução 1D com uma Gaussiana σ=6 componentes x e y da derivada Imagem final 27

28 Exemplo: detecção de arestas com o detector de Canny, σ= 1,5 e σ=5 28

29 Outro exemplo 29

30 Comparação Critérios: Quantidade de falsas arestas / segmentos Conectividade 30

31 Os operadores apresentados são conhecidos como detectores de arestas Os operadores de derivada são sensíveis ao ruído, provocando falsos positivos Transformam uma imagem num domínio binário com: um conjunto de pixels pertencentes a uma aresta edgels e falsos positivos e falsos negativos Este problema surge devido à natureza paralela da utilização de máscaras Uma designação mais adequada seria edge emphasis 31

32 Edge sharpening 32

33 Edge sharpening Laplace operator 33

34 Edge linking ou agregação Para resolver o problema dos operadores apresentados pode usar-se uma abordagem sequencial O contorno é seguido, tomando-se decisões em cada pixel para prosseguir Uma alternativa é seguir a detecção paralela de arestas por um processo de agregação que tenta: diminuir o efeito de pixels espúrios formar arestas contínuas a partir de fragmentos 34

35 Seguimento local de contornos Torna-se necessário expandir a vizinhança usada para detectar a aresta A vizinhança deve ser: suficientemente grande para fechar falsos gaps suficientemente pequena para não ligar segmentos independentes Exemplo: numa abordagem simples sobre uma imagem de gradiente, dois pixels (x,y) e (x,y ) estão sobre uma aresta se: e I(x,y) I(x,y ) < t 1 (I(x,y)) (I(x,y )) < t 2 -orientação do gradiente t 1 e t 2 - thresholds 35

36 Segmentação de Imagem Segmentar significa dividir a imagem em regiões que têm algum significado no contexto da aplicação Em geral é vista como um passo prévio à análise de imagem É mais característica da análise de imagem do que do processamento de imagem Processamento de imagem: image in; image out Análise de imagem: redução de informação; extracção de conhecimento A abordagem usada em muitos métodos consiste em agrupar pixels com propriedades semelhantes Estarão associados a uma mesma entidade 36

37 Exemplo 37

38 Os humanos efectuam a segmentação com muita facilidade usando processamento paralelo e conhecimento sobre a cena Até segmentam objectos que não existem! Kanizsa illusion As aproximações computacionais mais simples consideram um pixel de cada vez, não utilizam informação sobre a vizinhança Correspondem a uma abordagem comum na computação: dividir um problema complexo em problemas mais simples para os quais conhecemos métodos de resolução Na segmentação de uma imagem é razoável começar por usar operações low-level pixel a pixel 38

39 Note bem: Não há um método de segmentação que possa ser usado em todos os casos Não há um método de segmentação perfeito Tipos de segmentação mais comuns: Baseada em: conhecimento global das intensidades dos pixels regiões arestas 39

40 Grey scale thresholding É o método mais antigo de segmentação É apropriado em aplicações em que os objectos de interesse têm intensidades homogéneas e diferentes do fundo por exemplo: OCR (Optical Character Recognition) 40

41 Grey scale thresholding Se não houver ideia de qual o threshold a usar, pode-se analisar o histograma para escolher um valor adequado Se o histograma for bi-modal o threshold estará no vale entre picos Nota: um histograma bi-modal pode não corresponder a uma imagem com objectos sobre um fundo homogéneo 41

42 Este tipo de abordagem pode produzir erros de classificação, dependendo do histograma da imagem e dos níveis de cinzento dos objectos Pode usar-se thresholding em sub-regiões da imagem 42

43 Exemplo: processamento de imagens de TAC do torax e segmentação pulmonar Detecção dos contornos pulmonares e de bolhas de ar pulmonares em imagens torácicas de Tomografia Axial Computorizada: - Diferentes níveis de cinzento correspondem a zonas de diferentes tecidos e ar em cada secção - Determinação do histograma de cada imagem e valores correspondentes à transição entre os pulmões e outros tecidos - Deteção dos pontos pertencentes aos contornos dos pulmões em cada secção - Melhoramento dos contornos Histograma de uma imagem 43

44 Region growing segmentation A forma mais simples de fazer crescer uma região é por agregação de pixels São necessários pixels que funcionem como sementes Depois usam-se regras: de conectividade de pertença Todos os pixels que sejam vizinhos da semente e obedeçam à regra de pertença são etiquetados como pertencendo à mesma região Obter as sementes é um problema importante Pode resolver-se, por exemplo, com recurso ao histograma da imagem ou interactivamente 44

45 Labels - Vizinhanças 45

46 Flood-Filling 46

47 Flood-Filling 47

48 Flood-Filling 48

49 Flood-Filling 49

50 Flood-Filling 50

51 Exemplo: estabelecimento do critério de pertença baseado em threshold e gradiente Threshold demasiado elevado A imagem tem ruído e textura Gradiente da imagem Objectos que não são detectados Threshold demasiado baixo Gradiente da imagem suavizada Objectos que se confundem 51

52 Critério usado: Um pixel á adicionado a uma região se obedecer a um dos seguintes critérios: 1 - gradiente baixo e nível de cinzento > threshold 2- gradiente elevado e nível de cinzento < Média da região +- desvio padrão da região O critério de pertença tem que ser melhorado 52

53 Sequential Region Labeling 53

54 Sequential Region Labeling 54

55 Sequential Region Labeling 55

56 Sequential Region Labeling 56

57 Sequential Region Labeling 57

58 Sequential Region Labeling 58

59 Orientação + Excentricidade 59

60 II.3- Region split and merging segmentation Utiliza a estratégia dividir e conquistar Divide-se a imagem em partes cada vez mais pequenas, até que sejam homogéneas Não são necessárias sementes Mas, as regiões são em geral blocky 60

61 Solução simplista: If current region homogeneity test is FALSE then split into four quadrants attempt to merge this quadrants recursively call the procedure for each subdivision find any remainding merges O critério de homogeneidade pode ser baseado em medidas estatísticas 61

62 Contornos de uma região 62

63 Representação Máscara binária 63

64 Representação Run-Length Encoding 64

65 Representação Chain Codes 65

66 Combining: Region Labeling + Contour Following 66

67 III. Imagens e Morfologia Matemática A morfologia matemática opera sobre as imagens como conjuntos de pontos Permite modificar de modo controlado a estrutura / morfologia de uma imagem É mais fácil de aplicar em imagens binárias Mas pode ser aplicada e imagens com níveis de cinzento ou a cores Engloba um conjunto de técnicas usada em análise de imagem em: Filtragem Segmentação Descrição de objectos 67

68 Ideia fundamental das operações morfológicas 68

69 Ideia fundamental das operações morfológicas 69

70 Elemento Estruturante Vizinhanças 70

71 A morfologia matemática opera sobre as imagens como conjuntos de pontos É mais facilmente aplicável a imagens binárias Uma imagem binária pode ser descrita como um conjunto de pontos 2D listando todas as coordenadas dos pixels a preto (foreground), linha a linha: origem X I= { (0,1), (1,1), (2,1), (3,1), (3,2), (3,3) } Um objecto binário é representado por um conjunto num espaço bidimensional 71

72 Operações sobre conjuntos de pontos Imagens binárias Foreground Background Reunião 72

73 Muitas operações podem ser consideradas como shape filtering É necessário conhecimento a priori da forma Faz-se um scanning da imagem com um elemento estruturante EE Há pontos em que o EE: Elemento estruturante - está completamente dentro do objecto - parcialmente dento do objecto Vamos fazer uma abordagem algorítmica à morfologia matemática! 73

74 Principais operações morfológicas Dilation Erosion Operações básicas Opening Closing Operações compostas Dilation Erosion Opening Closing 74

75 Dilation Objecto original Elemento estruturante Objecto final - Corresponde a estampar o elemento estruturante em cada ponto do objecto (pixels a 1) - Obtém-se em geral uma versão expandida do objecto - Pequenos buracos e pequenas intrusões são preenchidas Imagem original Elemento estruturante Sobrepõe-se a origem do EE a todos os pixels a 1 na imagem I e transportam-se os 1 para os pixels da imagem resultante Imagem final 75

76 Exemplo: 76

77 Outro exemplo 77

78 Erosion Objecto original Objecto final - É a operação dual da dilatação (a erosão de um objecto é equivalente à dilatação do fundo) - Obtém-se em geral uma versão contraída do objecto Elemento estruturante - Os buracos são aumentados e pequenas extrusões são eliminadas Imagem original Sobrepõe-se a origem do EE a todos os pixels a 1 na imagem, coloca-se 1 na imagem resultante quando o EE cabe completamente no objecto 78 Imagem final

79 Exemplo 79

80 Problema Calcule o resultado da erosão de I com os diferentes elementos estruturantes: 80

81 Propriedades Dualidade Comutatividade Associatividade 81

82 Exemplo Dualidade 82

83 Exemplo Operações sucessivas 83

84 Elementos estruturantes habituais 84

85 Exemplo Imagem original 85

86 Exemplo Small Disk 86

87 Exemplo 87

88 Exemplo 88

89 Determinação de contornos Outlining Como a erosão pode resultar numa contracção isotrópica pode-se efectuar a extracção de contornos com a operação composta: Contrai-se o objecto e subtrai-se do original Para obter uma erosão isotrópica pode usar-se EEs de 3x3 ou 5x5, O tamanho do elemento estruturante determina a a espessura do contorno obtido Contornos obtidos com um EE de 3x3 (Amer, 2002) 89

90 Exemplo 90

91 Exemplo Conectividade dos contornos vs conectividade do EE 91

92 Opening É uma erosão seguida de dilatação É idempotente! É a união de todos os EEs que cabem dentro do objecto Elemento estruturante Com um EE circular tende a: - suavizar os contornos do objecto - partir ligações estreitas - eliminar pequenas protuberâncias Imagem original O EE é aplicado a todo o objecto, mas nenhuma parte deste pode aparecer fora do objecto 92

93 Exemplo É uma erosão seguida de dilatação Na erosão: Alinha-se a origem do EE com todos os elementos a 1, quando este cabe completamente no objecto coloca-se a 1 o pixel correspondente na imagem final Elemento estruturante Estes pixels são zero na imagem final, pois o EE não cabe no objecto, quando alinhado com eles Na dilatação: Alinha-se a origem do EE com todos os elementos a 1, e colocam -se a 1 os pixels correspondentes ao EE na imagem final 93

94 Exemplo Opening com um elemento estruturante circular Imagem original Depois da erosão Depois da dilatação Nota: o raio do EE deve ser maior do que os subconjuntos a eliminar 94

95 Closing É uma dilatação seguida de erosão É dual do opening É idempotente Elemento estruturante Imagem original? 96

96 Exemplo Closing com um elemento estruturante circular Imagem original Imagem final 97

97 Propriedades Idempotência Dualidade 98

98 Exemplo Small Disk 99

99 Exemplo de Aplicação - Skeletonizing Erosões sucessivas!! 100

100 Operações sobre imagens com níveis de cinzento As mesmas operações Mas, o elemento estruturante representa uma função real 2D Valores positivos, negativos ou nulos Don t care 101

101 Dilatação 102

102 Erosão 103

103 Exemplo Small Disk 104

104 Exemplo 105

105 Exemplo 106

106 Exemplo Small Disk 107

107 Exemplo 108

108 Exemplo 109

109 Bibliografia W. Burger, M. J. Burge, Principles of Digital Image Processing, Vol.1 and Vol. 2, Springer, 2009 A. Watt, F. Policarpo, The Computer Image, Addison Wesley, 1998 R. Gonzalez, R Woods, Digital Image Processing, 2nd Ed., Addison Wesley, 2002 Agradecimentos Aos Profs. Augusto Silva e Paulo Dias, e a alunos de Doutoramento Imagem do 1º slide: Junqing Chen and Thrasyvoulos Pappas, Adaptive perceptual color-texture image segmentation SPIE - Electronic Imaging & Signal Processing, 2006 DOI: /