José Eustáquio Rangel de Queiroz Herman Martins Gomes

DSC/CCT/UFCG UNIVERSIDADE FEDERAL DE CAMPINA GRANDE UFCG CENTRO DE ENGENHARIA ELÉTRICA E INFORMÁTICA CEEI DEPARTAMENTO DE SISTEMAS E COMPUTAÇÃO - DSC Av Aprígio Veloso, S/N Bodocongó CEP: 58109-190 Campina Grande PB www.dsc.ufcg.edu.br/ Fones: (0xx83) 3310 1122/Ramais 2211/2214 edu.br {rangel, hm mg}@dsc.ufcg. José Eustáquio Rangel de Queiroz Herman Martins Gomes

Agenda Considerações Iniciais Conceitos Fundamentais Natureza da Luz Estrutura do Olho Humano Modelos Cromáticos Modelo de Imagem Digital Amostragem e Quantização Sistema Típico de PDI Operações em Imagens Operações no Domínio do Espaço Histogramas Filtragem Espacial Filtros Morfológicos Filtragem no Domínio da Freqüência Segmentação Extração de Características e Reconhecimento Exemplos de Aplicações Segmentação de Imagens Reconhecimento de Manuscritos Recuperação de Imagens por Conteúdo Detecção de Regiões utilizando Atenção Visual Outras Aplicações 2/152

Considerações Iniciais I O que é Processamento Digital de Imagens (PDI)? Captura, representação e armazenamento Transformações Realce, filtragem e restauração Compressão 3/152

O que é PDI? (baixo nível) Considerações Iniciais II Imagem de Entrada Processamento Processamento Inverte cores detecta bordas Imagem de Saída 4/152

Considerações Iniciais III Outros Exemplos de Computação com Imagens Relacionados a PDI Aprendizagem, Interpretação, Classificação eindexação a partir de imagens e vídeos (Visão Computacional) Síntese de imagens e vídeos (Computação Gráfica e Animação) Controle a partir de informação visual (Robótica)... 5/152

Considerações Iniciais IV Visão Geral Iluminação Visualização Quantitativa Objetos 2D, 3D Formação de Imagem 2-D Formação de Imagem 3-D Imagens 2D, 3D Integração, Filtragem de Ruídos Imagens de Características Detecção de Bordas Extração de Estruturas Simples Determinação do Movimento Calibração Radiométrica e Geométrica Imagem Digital Digitalização Segmentação de Regiões Descrição de Texturas Regularização, Restauração e Modelagem Análise de Formas Descrições de Objetos Imagens de Regiões Morfologia Matemática Classificação de Pixels ou Objetos Classes de Objetos 6/152

Considerações Iniciais V Relação entre PDI e Computação Gráfica(CG) Entrada Natureza do Processamento Saída CG Descrições de uma cena, incluindo aspectos como geometria, iluminação, ponto de observação, propriedades dos objetos Síntese Imagens sintetizadas PDI Imagem capturada a partir de uma cena real Análise Imagens processadas / analisadas 7/152

Considerações Iniciais VI Natureza Interdisciplinar de PDI Ótica Colorimetria Neurofisiologia Eletrônica Processamento e Análise Digital de Imagens Psicologia Cognitiva Informática Matemática Estatística 8/152

Considerações Iniciais VII Computação Visual (CV) Manipulação Aquisição, Simulação ou Modelagem Renderização de Volumes Volumes e Atributos Análise Síntese Representação Geométrica e Atributos Visualização Simulação 9/152

Computação Visual (CV) Considerações Iniciais VIII CV = PDI + RP + CG + VV Viabilidade Computadores mais rápidos, com maior capacidade de armazenamento & mais baratos Aplicabilidade d Engenharia, Imageamento Médico, Geociências, Modelagem Física, Pesquisas Arqueológicas e muito mais 10/152

Foco do Apresentação Considerações Iniciais IX Processamento Digital de Imagens (PDI) Manipulação/Análise de imagens com auxílio de computadores digitais Imagem de Entrada Processamento Digital it de Imagens Imagem de Saída Imagens DIGITAIS 11/152

Análise Digital de Imagens Considerações Iniciais X Descrição e reconhecimento do conteúdo de imagens digitais Imagem de Entrada DESCRIÇÃO SIMBÓLICA da Imagem Análise Digital de Imagens Relatório de Atributos Representação Temática Imagem DIGITAL Mapa de Contornos 12/152

Considerações Iniciais XI Classes de Técnicas de PDI e Visão Computacional Visão de Baixo Nível Algoritmos essencialmente de PDI Entrada e saída do processo Imagens digitais Visão de Nível Intermediário i Imagem digital como entrada Representações simbólicas de baixo nível de características da imagem de entrada (e.g. mapa de contornos de objetos da imagem) 13/152

Considerações Iniciais XII Classes de Técnicas de PDI e Visão Computacional Visão de Alto Nível Algoritmos que usam representações simbólicas como entrada e saída Intimamente relacionada às áreas de Inteligência Artificial e de Reconhecimento de Padrões Tentativa ti de simulação dos altos níveis de percepção visual humana (entendimento da imagem) 14/152

Conceitos Fundamentais I Natureza da Luz I Radiação eletromagnética Comportamento t ondulatório caracterizado por sua freqüência (f) e comprimento de onda (λ). Luz visível Faixa do espectro eletromagnético à qual o sistema visual humano é sensível Aproximadamente de 400 a 770 nm Radiação eletromagnética fora desta faixa não é percebida pelo olho humano 15/152

Conceitos Fundamentais I Natureza da Luz II Luz visível Faixa do espectro eletromagnético à qual o sistema visual humano é sensível Dentro da faixa de 400 a 770 nm, o olho percebe comprimentos de onda diferentes como cores distintas Fontes de radiação com um único comprimento de onda denominam-se monocromáticas e a cor da radiação denomina-se cor espectral pura 16/152

Espectro Eletromagnético Conceitos Fundamentais II Comprimento de Onda (m) 10 3 10 2 10 1 10-1 10-2 10-3 10-4 10-5 10-6 10-7 10-8 10-9 10-10 10-11 10-12 Campo de Futebol Casa Ponto Bola de Baseball Célula Vírus Bactéria Proteína Molécula de Água Mais curtos ONDAS DE RÁDIO INFRAVERMELHO ULTRAVIOLETA RAIOS X PESADOS MICROONDAS RAIOS X LEVES RAIOS γ Freqüência (Hz) Cavidade Forno de de RF Rádio FM Microondas Seres Lâmpadas ALS Equipamentos Elementos Rádio AM RADAR Humanos Incandescentes Radioativos de Raios X 10 6 10 7 10 8 10 9 10 10 10 11 10 12 10 13 10 14 10 15 10 16 10 17 10 18 10 19 10 20 ALS (Advanced Light Source) Radiação Visível Comprimento de Onda (nm) 700 600 500 400 700 600 500 400 Mais altas Radiação Radiação Infravermelha (IR) Ultravioleta (UV) 17/152

Conceitos Fundamentais III Visão humana Mecanismo de percepção complexo e importante Aquisição i de informações Simples (e.g. reconhecimento de objetos) Complexas (e.g. desenvolvimento da inteligência humana, tomada de decisões) Uma imagem vale mil palavras. [Provérbio chinês] 18/152

Conceitos Fundamentais IV Sistema e Percepção Visual Humana Retina 75-150 milhões de bastões Sensibilidade a níveis muito baixos de intensidade luminosa Visão escotópica 5-7 milhões de cones Sensibilidade a cores Visão fotópica Adaptabilidade a níveis luminosos do ambiente 19/152

Conceitos Fundamentais V Sistema e Percepção Visual Humana HVS Sistema passa-faixa Comportamento responsável por algumas ilusões visuais Conjuntiva Córnea Camadas adas da retina a Humor vítreo v Fotorreceptores Célula bipolar Íris Nervo óptico i Cone Gânglio Lente Bastão Vasos sangüí üíneos Fundo do olho Célula Célula amácrina horizontal Pupila p Esclera Luz 20/152

Conceitos Fundamentais VI Sistema e Percepção Visual Humana Pálpebra Câmara Anterior Córrnea Coróide Retina Eixo Visual Fóvea Cristalino Íris Câmara Posterior com Humor Vítreo Sensor Câmara escura Obturador Diafragma Lente 21/152

Conceitos Fundamentais VII Sistema e Percepção Visual Humana Teoria do Triestímulo Cones de Cones de Cones de Verde (G) comprimentos comprimentos comprimentos de onda curtos de onda médios de onda longos Amarelo (Y) Vermelho (R) Magenta (M) Ciano (C) Excitador Inibidor Azul (B) 22/152

Conceitos Fundamentais VIII Modelo Cromático RGB II Secundárias Ciano Ciano, Magenta e Amarelo Branco G Preto (0,1,0) (0,1,1) (1,1,0) (1,1,1) (0,0,0) (1,0,0) R B (0,0,1) (1,0,1) 23/152

Conceitos Fundamentais IX Modelos Cromáticos CMY e CMYK I Secundárias Vermelho, Verde e Azul Preto Branco M (010) (0,1,0) (0,1,1) (1,1,0) 1 (1,1,1) (0,0,0) (1,0,0) C Y (0,0,1) (1,0,1) 24/152

Conceitos Fundamentais X Exemplo de Composição RGB R B 111 120 126 183 117 42 132 133 136 199 216 40 145 135 156 221 234 250 27 30 61 255 253 247 0 2 154 59 112 103 0 0 36 50 108 123 G 100 34 12 136 81 35 225 134 36 210 18 111 195 139 127 54 10 255 23 112 66 131 135 220 203 235 212 55 0 0 187 218 192 47 0 0 10 128 126 200 12 111 17 217 36 210 36 72 157 17 126 17 111 200 14 200 36 12 126 17 126 230 247 55 63 76 36 205 17 72 106 0 RGB 10 111 100 25/152

Modelo Cromático RGB IV Conceitos Fundamentais XI Exemplo de geração de uma imagem RGB a partir de planos individuais Canhões Eletrônicos B G Triângulo Ampliado de Pontos de Fósforo R Máscara Tela do Monitor 26/152

Principais Objetivos I Conceitos Fundamentais XV Realce de Imagens (Pré-processamento) Otimização do processo de visualização para a interpretação visual conforme o contexto; e Manipulação visando procedimentos de classificação de padrões 30/152

Principais Objetivos II Conceitos Fundamentais XVI Classificação de Padrões Extração de informações necessárias à análise quantitativa da imagem considerada 31/152

Imagem Digital I Conceitos Fundamentais XVII Função proporcional à intensidade de brilho em (x,y) f(x,y) Coordenada horizontal Coordenada vertical 32/152

Imagem Digital II Discretização Conceitos Fundamentais XVIII Limitação do número de valores que uma variável pode assumir Amostragem Discretização das coordenadas espaciais Quantização Discretização dos níveis de cinza (valores de brilho) 33/152

Conceitos Fundamentais XIX Imagem Digital III f x,y f(x,y) intensidade luminosa coordenadas espaciais (302, 1353) Amostragem (Coordenadas d espaciais) i Quantização R: 59 (Amplitude das intensidades luminosas) G:10 B:62 34/152

Imagem Digital IV Modelo de Imagem I Conceitos Fundamentais XX PIXEL (PICture ELement) ( Coluna Linha h Pixel 0 Preto Tons de Cinza 255 Branco 35/152

Modelo de Imagem II Conceitos Fundamentais XXI Aspectos Práticos - Discretização Amostragem Usual M=N=2 K, K={8,9,10} K Conformidade com padrões de vídeo Simplicidade do circuito digital (Especificações do hardware) ) Uso de determinados algoritmos (e.g. Transformada [Rápida] de Fourier) 36/152

Modelo de Imagem III Conceitos Fundamentais XXII Aspectos Práticos - Discretização Quantização B Usual L=2 B, B é número de bits na representação binária dos valores de brilho B>1 Imagem em tons de cinza B=1 Imagem binária 37/152

Conceitos Fundamentais XXIII Primeira etapa dequalquer q aplicação de PDI Conversão usual do sinal óptico em um sinal elétrico analógico Digitalização do sinal elétrico analógico Digitalizador it de vídeo (frame grabber) ) Finalização do processo de formação da imagem digital 38/152

Radiometria Conceitos Fundamentais XXIV Aspecto da formação da imagem concernente à relação entre as quantidades de energia luminosa emitida da fonte de luz, refletida da superfície imageada e registrada por sensores Fonte Óptica p i n e L(P,d) Matriz de CCD P Superfície 39/152

Conceitos Fundamentais XXV Processo de Aquisição de Imagens Digitais Fonte de Iluminação (Energia) Radiação Incidente Sistema de Imageamento Radiação ação Refletida Plano da Imagem (Interno) t ) Formação de Pixels na Imagem Digitalizada Elemento da cena imageada f(x,y) = reflectância(x,y)*iluminação(x,y) iluminação(x,y) [0,1] [0, ] 40/152

Conceitos Fundamentais XXVIII Geração de uma Imagem Digital III Notação do Pixel Colunas 50 55 60 65 50 50 Colunas 50 55 60 65 Linhas 55 55 60 Linhas 60 65 65 43/152

Conceitos Fundamentais XXIX Representação de uma Imagem Digital I 10 10 16 28 9 656 70 26 56 37 43 15 32 99 25 54 70 13 96 56 22 67 78 21 60 54 90 47 96 42 67 32 15 87 39 54 85 65 85 65 43 39 92 32 65 87 99 f(x,y) = r(x,y) g(x,y) b(x,y) Imagem Colorida I Composição RGB 44/152

Conceitos Fundamentais XXX Representação de uma Imagem Digital II Imagem Colorida II RGB composta e componentes separadas http://sipi.usc.edu/database 45/152

Conceitos Fundamentais XXXI Representação de uma Imagem Digital III nas entradas R, G e B nas entradas R, G e B nas entradas R, G e B Imagem Colorida III RGB composta e cada componente nas 3 entradas http://sipi.usc.edu/database 46/152

Conceitos Fundamentais XXXII Representação de uma Imagem Digital IV 512 128 32 64 1024 256 256 Colorida 47/152

Conceitos Fundamentais XXXIII Representação de uma Imagem Digital V 512 128 1024 256 64 32 P&B 48/152

Conceitos Fundamentais XXXIV Representação de uma Imagem Digital VI 1024 256 128 512 32 64 P&B 256 Binária 49/152

Histograma I Operações em Imagens V Representação gráfica do número de vezes em que cada nível de cinza aparece em uma imagem digitalit Freqüência de ocorrência dos valores de brilho na imagem I h(n c) 255 223 191 159 127 95 63 31 0 0 1 2 3 4 5 6 7 8 N c 67/152

Histograma II Exemplos de Histogramas Operações em Imagens VI perc centual de pix xels 1 perc centual de pix xels 2 0 níveis de cinza 255 0 níveis de cinza 255 de pixels 3 percentual 0 níveis de cinza 255 68/152

Operadores de Vizinhança Transformação dos pixels Filtragem Espacial II Consideração da correlação espacial Suavização Regiões Aguçamento de Bordas Contornos 82/152

Filtragem Espacial III Convolução Espacial I p 1 p 2 p 3 p 4 p 5 p 6 M - 1 N - 1 I s ( x, y) = I e ( x i, y j). m( i, j) i = 0 j = 0 0 Preto p 7 p 8 p 9 Transformação f Tons de cinza 255 Branco Parâmetros 83/152

Filtragem Espacial III Convolução Espacial I - Considerações H G h 22 h 21 h 20 h 12 h11 h 10 h 02 h 01 h 00 L-1 2 L-1 2 L-1 2 h 22 h 21 h 20 h 12 h11 h 10 h 02 h 01 h 00 L-1 2 h 22 h h 20 h 21 h 12 h 11 h 10 h 02 h 01 h 00 F N-L+1 N N+L-1 h 22 h h 20 h 21 h 12 h 11 h 10 h 02 h 01 h 00 h 22 h 21 h 20 h 12 h11 h 10 h 02 h 01 h 00 84/152

Filtragem Espacial IV Convolução o Espacial a II - Máscara a ou Kernel Filtro box discreto (3 3) a 2 =9 1 1 1 m[i, j] = 1 / 9 1 1 1 Entrada 1 1 1 Saída 1 / 9 1 / 9 1 / 9 1 / 9 1 / 9 1 / 9 I s [x, y] 1 / 1 1 9 / 9 / 9 85/152

Filtragem Espacial V Convolução Espacial III - Suavização de Bordas Filtro box 3x3 Bordas suavizadas 86/152

Filtragem Espacial VI Convolução Espacial III - Detecção de Bordas Uso de grupos de linhas vizinhas Minimização de bordas com um único pixel Direcionamento preferencial do processo de detecção Operadores de gradiente Prewitt Robert Sobel 87/152

Filtragem Espacial VII Convolução Espacial IV - Detecção de Bordas II Operador de Prewitt -1 0 1 m[i, j] = -1 0 1 Bordas verticais -1 0 1 1 1 1 m[i, j] = 0 0 0 Bordas horizontais -1-1 -1 88/152

Filtragem Espacial VIII Convolução Espacial V - Detecção de Bordas III Operador de Sobel Redução do peso para as linhas/colunas vizinhas -1 0 1 m[i, j] = -2 0 2 Bordas verticais -1 0 1 1 2 1 m[i, [,j] = 0-1 0-2 0-1 Bordas horizontais 89/152

Filtragem Espacial VIII Convolução Espacial V - Detecção de Bordas IV Operador de Gradiente Exemplo comparativo 90/152

Filtragem Espacial IX Convolução Espacial VI Aguçamento de Bordas (Sharpening) Identificação e destaque (aguçamento) de bordas, seguida de sua adição à imagem I [x,y] =I s s [x,y] α borda[x,y] 0 -α 0 m[i, j] = -α 0 1+ 4α -α -α 0 Filtro laplaciano discreto 3x3 91/152

Filtragem Espacial IX Convolução Espacial VI Aguçamento de Bordas (Sharpening) Operador laplaciano 3x3 - Exemplo 92/152

Segmentaçã oi Visão Geral I Segmentação consiste na subdivisão da imagem em partes ou objetos constituintes Possibilita a identificação de diferenças entre dois oumais objetos, assim como a discriminação das partes, tanto entre si quanto entre si e o background 109/152

Segmentaçã oii Visão Geral II Para imagens monocromáticas, os algoritmos geralmente fundamentam-se na descontinuidade e na similaridade dos níveis de cinza Descontinuidade: particionamento da imagem em zonas caracterizadas por mudanças bruscas dos níveis de cinza. Usualmente recai na detecção de pontos isolados, de linhas e de bordas da imagem. Similaridade: limiarização e no crescimento de regiões. 110/152

Limiarização (Thresholding) I Segmentação III Redução usual a 2 níveis de cinza Seleção de um nível de cinza limiar Remapeamento dos valores de brilho Pixels com nível de cinza superior ao limiar i Nível de cinza máximo considerado (tipicamente 255) Pixels com nível de cinza igual de inferior ao limiar Nível de cinza mínimo considerado (0) 111/152

Limiarização (Thresholding) II Resultado Imagem binária Segmentação IV i (x,y) s = 0, 0 <= i e (x,y) <= N c L N, N < i cmax (x,y) <= N c L e cmax Aplicação Extração de atributos de objetos da imagem (e.g. forma, área, perímetro) 112/152

Limiarização (Thresholding) III Segmentação V Exemplo Imagem binária Faixa de níveis de cinza do objeto de interesse: 0~22 Binarização 113/152

Outros Tipos de Segmentação I Segmentação VI Segmentação Orientada a Regiões Fundamenta na similaridade Crescimento de regiões: agrupa pixels ou sub-regiões de uma imagem em regiões maiores Agregação de pixels: partindo de sementes (cj. de pontos similares), as regiões crescem com a agregação g de cada pixel à semente à qual estes apresentem propriedades similares (e.g. nível de cinza, textura ou cor) 114/152

Outros Tipos de Segmentação II Segmentação VII Segmentação Baseada em Bordas Bordas normalmente são um bom indício dos contornos dos objetos Pontos de borda: posições de pixels com variações abruptas de níveis de cinza, indicando d possíveis transições entre objetos diferentes Técnicas mais simples: operador de gradiente (e.g. Sobel, Roberts, Laplaciano), seguido de limiarização. 115/152

Extração de Visão geral Características e Reconhecimento I O objetivo é identificar objetos na cena a partir de um conjunto de medições Cada objeto é um padrão e os valores medidos são as características desse padrão Um conjunto de objetos com características semelhantes é considerado como pertencente à mesma classe de padrões Há diversos tipos de extração de características, cada qual obtida a partir de uma técnica específica. 116/152

Extração de Características e Reconhecimento II Visão geral Exemplos de características: bordas, área, perímetro, invariantes de momentos, descritores de fourier e muios outros Existe uma grande variedade d de técnicas de classificação, incluindo técnicas estatísticas e redes neurais Padrão de Teste Extração de Características Classificador Saída Classificada Padrão da Amostra Extração de Características Aprendizagem 117/152

Exemplos de Aplicações V Reconhecimento de Manuscritos III - assinaturas Momentos Regiões de pressão Inclinações 123/152