Processamento de Imagens e Fotografia Digital

Transcrição

1 Processamento de Imagens e Fotografia Digital Images Alive: Manipulação de gradientes Eric Jardim ericjardim@gmail.com IMPA - Instituto Nacional de Matemática Pura e Aplicada Prof. Luiz Velho 1

2 Tema: Images Alive Com a popularização de aparelhos com dispositivos gráficos como celulares, handhelds, MP3 players e câmeras digitais, o conceito de imagem ou foto deixou de ser algo exclusivo para visualização em papel. Com isso, existe a possibilidade de termos imagens mais vivas, sejam com pequenas animações de uma imagem ou cena original que dão um efeito de movimento, sem perder a qualidade de imagem. É nesse limiar entre imagem, animação e aplicações interativas que reside o tema Images Alive. 2

3 Técnica escolhida Edge Suppression by Gradient Field Transformation Using Cross-Projection Tensors, dos autores Amit Agrawal, Ramesh Raskar e Rama Chellappa. A técnica consiste em utilizar as informações dos gradientes das imagens tiradas de uma mesma cena sob pequenas variações de iluminação ou com pequenas alterações. A partir de duas imagens, é possível gerar uma terceira que combina informações das duas. 3

4 Exemplos de uso da técnica Extração de objetos em primeiro plano 4

5 Exemplos de uso da técnica Extração de reflexos 5

6 Técnica e o tema Problema: como amarrar o tema com a técnica escolhida? Solução: transições suaves entre imagens resultantes e originais (dissove) 6

7 Técnica: definições Modelo funcional f : U R 2 R 3 = E U = [a,b] [c,d] = {(x,y) R 2 ;a x b,c x d} Representação matricial (discreta), associa um reticulado = ( x, y ) ao domínio U = {(x j,y k ) U;x j = j x,y k = yk} j,k Z, x, y N} O espaço de cor é representado por valores reais por cada canal utilizando ponto flutuante. 7

8 Técnica: definições Podemos olhar a imagem como o gráfico de (x,y,f(x,y)) (x,y) U Vamos agora denotar a imagem por I = f(x,y) Definimos o gradiente de I como [ ] I = Para estimarmos os valores de I utilizamos diferenças finitas I x I y 8

9 Exemplo: gradiente Gradiente de um canal de uma imagem 9

10 Técnica: definições Vamos também definir o tensor de estrutura suavizado por [ ] G σ = ( I I T Ix 2 I x I y ) K σ = K σ I x I y I 2 y onde K σ é núcleo gaussiano de variança σ Mas como G σ é positiva e simétrica [ G σ = ΛΣΛ T λ 1 0 = [ v 1 v 2 ] 0 λ 2 ] [ v1 T v2 T ] podemos encontrar autovetores v 1,v 2 e seus autovalores associados λ 1,λ 2 onde λ 1 λ 2 10

11 Exemplo: tensor de estrutura suavizado Tensor de estrutura suavizado 11

12 Técnica: definições Problema: queremos retirar bordas comuns de uma imagem e preservar as outras Como fazer para remover uma borda de um gradiente de uma imagem? Idéia: aplicar uma transformação afim para projetar o vetor na direção perpendicular à borda. 12

13 Tensor de projeção cruzada A forma do tensor de projeção cruzada [ ] [ µ 1 0 u T 1 D = [ u 1 u 2 ] 0 µ 2 u T 2 ] Utilizamos as informações do tensor de estrutura G σ de cada imagem, digamos A e B Por convenção queremos: remover as bordas de A que estão em B preservar as bordas de A que não estão em B Os valores µ 1 e µ 2 e os vetores u 1 e u 2 são baseados na análise dos tensores de estrutura das duas imagens 13

14 Tensor de projeção cruzada Vamos calcular o tensor de projeção cruzada Utilizamos as direções dos autovetores de G B σ, ou seja, u 1 = v B 1 e u 2 = v B 2 Temos então 3 situações: B é homogêneo (λ B 1 0) e A tembém é (λa 1 0) µ 1 = 0,µ 2 = 0 B é homogêneo (λ B 1 0) e A não é (λa 1 > 0), retém a borda µ 1 = 1,µ 2 = 1 B não é homogêneo (λ B 1 perpendicular > 0), projeta na direção 14

15 Exemplos de uso Remoção de sombras e reflexos 15

16 Inovações na técnica Aplicar a transformação afim apenas a alguns canais para obter efeitos artísticos 16

17 Inovações na técnica Vamos fazer o reverso da aplicação. Vamos inserir um objeto em outra cena Primeiros utilizamos uma imagem de funda para retirar o objeto da frente 17

18 Inovações na técnica 18

19 Inovações na técnica Utilizamos as informações do tensor de estrutura para combinar imagens Onde existem bordas da imagem da frente, zeramos (ou abaixamos) o gradiente do fundo 19

20 Sobre a implementação O código foi reescrito na linguagem Python (os originais eram MatLab). Vantagens: Linguagem de alto nível com fácil aprendizado e utilização Roda em diversas plataformas É livre, grátis (e não necessita obter uma cópia do MatLab) Foi utilizado Qt4 como toolkit, permitindo parametrizar o algoritmo sem rescrever código. Todo o código está liberado sobre licença livre. Foram utilizadas rotinas numéricas de alto desempenho (NumPy e SciPy). 20

21 Referências Edge Suppression by Gradient Field Transformation Using Cross-Projection Tensors Python Qt Numpy e SciPy 21