Processamento de Imagens e Aplicações João do E. S. Batista Neto Instituto de Ciências Matemáticas e de Computação ICMC-USP
Domício Pinheiro Agência Estado
fica á r G o utaçã p m o C Vis ão Co mp u t ac ion al Processamento de Imagens ão ç a liz a u Vis fica í t n Cie Anális e de I m agens
Áreas Relacionadas Modelagem Visualização Computacional Computação Gráfica Síntese de Imagens Processamento de Imagens Visão Computacional
e ag Im m as t la e r or C s a e Ár Modelagem de dados (processamento de dados) DADOS Visualização Visão (computação gráfica, síntese de imagem) (análise de imagem) IMAGEM Processamento de imagens
Modelagem Cena: lista de objetos + condições de iluminação Objetos: características geométricas Forma Maneira como interagem com a luz incidente. Ambos os tipos de características podem ser descritos através de modelos Grau variável de sofisticação -> realismo! Modelagem geométrica Especificação de características óticas (material, cor, transparência, etc). Muita estrutura de dados!!!! Cena realista -> requer muito trabalho
Modelagem de dados (visualização) Curvas, superfícies, etc
Métodos p/ Modelagem Métodos Analíticos ou Algébricos: representação de curvas, superfícies. Métodos Analíticos ou Algébricos: representação de curvas, superfícies.
Computação Gráfica síntese de imagens técnicas para gerar representações visuais a partir de especificações geométricas e de atributos visuais dos seus componentes modelagem e rendering objetivo: mundo 3D no computador cena descrita em termos de sua geometria e atributos visuais para o rendering, até obter matriz de pixels
Sistemas Gráficos: Características sistemas altamente interativos usuário controla o conteúdo, a estrutura e a aparência dos objetos e imagens visualizadas na tela, usando dispositivos de interação forte relação com HCI - Interação Usuário Computador
Quer Ficar Rico? Rendering: processo de geração de imagem a partir de um modelo. Em português: visualização
Computação Gráfica 2D 3D
Rendering
Real ou Imaginário
Processamento de Imagens técnicas de transformações de imagens descritas na forma de uma matriz de pixels objetivo: melhorar características visuais (aumentar contraste, melhorar foco, reduzir ruído, eliminar distorções), extrair elementos de interesse; ou mesmo transformar a imagem, criando efeitos visuais cena: matriz de pixels
Identificação de pássaros para controle de poluição ambiental
Segmentação por Campos Aleatórios de Markov em multi escala Leandro Gerhardiger, 2006
Segmentação de um tumor em momografia
Recuperação de conteúdo em grandes BD por imagem
Identificação de Ferrugem de Cana Casa Branca
Criação de mosaica em plantações de eucalipto
Mosaico criado automaticamente, sem nenhum georeferenciamento
CSI A missão!!
Encontre os caracteres 'a'
O que é visão computacional? É a ciência que desenvolve as bases teóricas e algoritmicas pelas quais informações úteis são automaticamente extraídas de imagens por meio de computadores
O que é um sistema de Visão Computacional? Um programa que enxerga uma imagem e realiza as operação que lhe são solicitadas! Análise de imagens Segmentação + extração de características Algum processo inteligente de inferência Reconhecimento de padrões Machine learning, classificação, etc..
O que precisamos saber para ter sucesso na construção de um sistema de visão artificial? Aspectos Cognitivos: combinação dos aparelhos sensoriais e comportamento psico-biológico: neurociências, IA, filosofia, psicologia, lingüística. Aspectos fisiológicos do cérebro.
Aspectos Cognitivos
Exemplo : ilusão cognitiva (distorção) Tamanho, comprimento, curvatura
Exemplo : percepção visual aspectos culturais Mostre estas figuras para um árabe e um zulu...
Exemplo : percepção visual especialização
Movimento sacádico
Aspectos Fisiológicos
Visão Natural: sistema super paralelo Macro Micro Intermediário
Visão Natural: o olho humano http://www.yorku.ca/eye/thejoy.htm
Blid Spot: Ponto Cego Feche seu olho direito. Foque no número 3. Avance e recue. Ou foque nos nros à direita ou esquerda!
Cones: (sens.) C C M L M Bastonetes: Alta sensibilidade à luminosidade, não percebem cor Cones: Alta sensibilidade a cor, alta quantidade na fóvea C
O córtex visual
Córtex Inferote mporal Córtex Parietal V4 (comp. de onda; orientação; disparidade) Cor e forma co m cor V5 (direção; orientação; disparidade) Movimento V3 (direção; orientação; disparidade) Formas dinâmicas Pálidas (comp. de onda) Faixas finas Faixas grossas (comp. de onda; orientação; disparidade) (direção; orientação; disparidade) blobs interblobs 4B (comp. de onda) (comp. de onda; orientação; disparidade (direção; orientação; disparidade) LGN par vocelul ar LGN magnocelular Cones Bastonetes V2 V1
Exemplo 1: fisiologia A região A é mais escura que B, certo? Isso não é uma pegadinha
Errado!
Resposta Contraste local Algo claro, rodeado por algo mais escuro, tende a parecer mais claro do que é. E vice-versa! Este é um exemplo da excelente qualidade de nosso sistema visual, certo? Certo!
Exemplo 2: fisiologia Explicação: campos receptivos da retina
Visão Computacional/Artificial VISÃO é o processo de descobrir, a partir de imagens, o que está presente no mundo e onde está localizado Disciplinas relacionadas Processamento de Imagens Computação Gráfica Reconhecimento de Padrões Robótica Inteligência artificial
Um sistema de visão computacional para indústria
Três níveis de atuação Melhorar qualidade da imagem Pouca inteligência Extrair e caracterizar componentes Alguma inteligência Reconhecimento Alta Inteligência
Exemplo: um sistema de visão para reconhecer digitais
Reconhecimento de Digitais padrões Bifurcações Terminações
Típico sistema de visão Processamento de Imagens Aquisição Cena 1 6 IA / reconhecimento de padrões Pré-processamento 2 3 5 Extração de características 4 Análise de Imagens
Passo 1 - Aquisição Cena 1 6 2 3 5 4
Aquisição
Passo 2 - Pré-processamento Cena 1 6 2 3 5 4
Pré-processamento
Passo 3 - Processamento de Imagens 1 Cena 6 2 3 5 4
Processamento de Imagens
Passo 4 - Análise de Imagens Cena 1 6 2 3 5 4
Análise de Imagem 1- Procurar todos e marcar: - bifurcações - terminações
Análise de Imagem 2 - Determinar as orientações: - bifurcações - terminações
Passo 5 - Extração de Características Cena 1 6 2 3 5 4
Extração de Características: Modelo Matemático Modelo Matemático - Semelhança de Triângulos Combinar as marcações 3 a 3
Passo 6 - IA / Reconhecimento de padrões Cena 1 6 2 3 5 4
IA / Reconhecimento de padrões Armazenar o modelo matemático de todos os triângulos Base de conhecimento
IA / Reconhecimento de padrões Armazenar o modelo matemático de todos os triângulos Base de conhecimento
IA / Reconhecimento de padrões Comparar com modelos treinados Base de conhecimento Padrão reconhecido, digital identificada
É fácil emular a visão humana?
Reconhecimento
Importância da cor
Importância da Textura
The role of shape
Importância do agrupamento
Auxílio da matemática Sistemas mais antigos empregavam métodos heurísticos Hoje recorremos à matemática, às vezes um pouco pesada! Cálculo Algebra Linear Probabilidade e estatística Processamento de Sinais Projeção Geométrica Geometria Computacional Otimização Boa notícia: muita computação!
Aplicações Inspeção industrial/controle Qualidade Segurança Reconhecimento Facial Reconhecimento Gestos Aplicações espaciais Análise de imagens médicas Veículos autônomos Agro-negócio
Identificação de pássaros para controle de poluição ambiental
Segmentação por Campos Aleatórios de Markov em multi escala Leandro Gerhardiger, 2006
Segmentação de um tumor em momografia
Recuperação de conteúdo em grandes BD por imagem
Identificação de Ferrugem de Cana Casa Branca
Criação de mosaica em plantações de eucalipto
Mosaico criado automaticamente, sem nenhum georeferenciamento