PCIM Laboratório 0, parte visual: Iniciação ao tratamento de imagem, vídeo e áudio no MATLAB

Transcrição

1 PCIM Laboratório 0 - parte visual: Iniciação à manipulação de imagem, vídeo e áudio com o MATLAB 1. Processamento de imagem O MatLab possui diversos comandos específicos para manipular imagens e para executar diversas técnicas de processamento de imagens. O MatLab adequa-se particularmente bem à manipulação e processamento de imagens, uma vez que a sua estrutura básica de dados é a matriz e uma imagem não é mais do que uma matriz. Uma imagem é lida no MatLab e armazenada como uma matriz do tipo uint8 (valor inteiro representado com 8 bits, logo com 2 8 =256 valores possiveis).. Para se poder utilizar os valores dessa matriz em operações de números do tipo double como adição, subtração, multiplicação e divisão, é necessário efectuar a conversão dessa matriz para o tipo double (valores reais de precisão dupla). Algumas funções de Image file import/export/manipulação: imread - lè ficheiro de imagem imwrite - grava imagem num ficheiro imshow - apresenta uma imagem numa janela imageinfo - cria uma ferramenta que permite obter informação sobre uma imagem gravada em ficheiro imattributes - lista atributos da imagem que está a ser visualizada image - visualiza uma matriz como sendo uma imagem; o valor de cada elemento da matriz especifica a cor do elemento de imagem espacialmente correspondente. im2frame e frame2im - permitem converter de formato de imgem para formato de filme usado pelo MATLAB e viceversa. etc Os seguintes comandos permitem executar diversas operações com imagens: >> im = imread ( lena.tif ); % lê a imagem lena com o formato TIFF para a matriz im (MxN) >> [line,col]=size(im(:,:,1)); % lê o número de linhas e colunas da imagem que foi armazenada na matriz im % e armazena nas variáveis lin e col (variáveis quaisquer); nota: a matriz im tem 3 dimensões já que a imagem que foi lida % a imagem lena, é uma imagem a cores. Nota: o comando [line,col]=size(im) daria o mesmo resultado. >> imshow (im); % visualiza a imagem que está na matriz im >> im2 = double(im); % converte a imagem que está na matriz im para tipo real de precisão dupla e guarda na nova matriz im2 >> im2 = im2 + 10; % aumenta o brilho da imagem que está na matriz im2 >> im2 = uint8(im2); % converte de novo a imagem para valores do tipo inteiro >> imwrite (im2, nome.bmp, bmp ); % guarda a nova imagem no ficheiro nome.bmp Para imagens armazenadas no formato true color (BMP, 24 bits) são criadas matrizes a 3 dimensões para armazenar cada uma das componentes fundamentais de côr R, G, B. Os 24 bits correspondem a 3 bits para representar cada uma das componentes de côr. Cada dimensão contém uma matriz MxN (nº de linhas vezes nº de colunas) que corresponde à matriz de um dos tons (exatamente na ordem RGB). Para separar cada componente, o seguinte código pode ser utilizado: >> im = imread( movie.bmp ); % imagem RGB de 24 bits, isto é, cada elemento de imagem é representado por 24 bits, sendo % 8 bits para a cor vermelha (R), 8 bits para a cor verde(g) e 8 bits para a cor azul (B): >>size(im) % permite verificar que se trata de uma matriz de n pixels por m colunas com profundidade 3, isto é uma matriz a % 3 dimensões - a profundidade 3 indica que na prática existe uma matriz (ou plano) para cada uma das cores % primárias RGB. 1

2 >> r = im(:, :, 1); % atribui todas as linhas e todas as colunas do primeiro plano de im à variável r, i.e., a matriz com os % valores de vermelho (R) >> g = im(:, :, 2); % matriz do segundo plano com os valores de G >> b = im(:, :, 3); % matriz do terceiro plano com os valores de B Neste caso, se quisermos guardar em variáveis as 3 dimensões da matriz im onde se guardou a imagem, a leitura das dimensões da imagem deve ser feita da seguinte forma: >> [lin, col, plano] = size(im); Ou seja, um terceiro parâmetro de saída deve ser usado. Se quisermos guardar as dimensões y,x (nº de linhas por nº de colunas) de um dos planos, podemos fazer: >> [line,col]=size(im(:,:,1)); Neste caso inspeciona as dimensões do 1º plano, ou seja da matriz onde foram armazenados os valores de R da imagem. Nota: o comando [line,col]=size(im) daria o mesmo resultado em line, mas daria um valor 3 vezes maior em col, porque apresentaria o nº de colunas de toda a estrutura (composta por três matrizes bidimensionais). Podemos criar uma nova imagem preta com 24 bits por elemento, usando as dimensões da imagem lida: >> im2 = uint8(zeros(lin, col, plano)); % criada uma imagem só de zeros Cada plano dessa nova matriz pode receber um dos planos da outra imagem, por exemplo, incrementados e decrementados de um dado valor: >> im2(:, :, 1) = r+50; >> im2(:, :, 2) = g-50; >> im2(:, :, 3) = b+100; Para visualizarmos e compararmos as duas imagens que estão armazenadas nas matrizes im e im2: >>figure; imshow(im); >>figure; imshow(im2); Outros comandos para manipulação de imagens importadas para o MATLAB e armazenadas em matrizes: rgb2gray - conversão de 24 bits para tons de cinza im2bw - conversão para preto-e-branco rgb2ind - conversão de 24 bits para 256 cores imresize - altera as dimensões de uma imagem imrotate - roda uma imagem de um determinado ângulo imhist - calcula o histograma de uma imagem imcrop - define uma sub-imagem rectangular dentro da imagem original B = imresize(a, M, method ) O comando de cima retorna uma matriz que é M vezes maior (ou menor) que a imagem A, onde method pode ser um de (funções definidas no MATLAB): nearest = vizinho mais próximo bilinear = interpolação bilinear bicubic = interpolação bicúbica Exemplo para obter uma imagem com metade das dimensões da imagem que está na matriz A, usando interpolação nearest neighbor : >> B = imresize (A, 0.5, nearest ); B = imrotate(a, Ângulo, method ); O comando de cima retorna uma matriz que é uma versão rodada de Ângulo da imagem A, onde method pode ser um de (funções definidas no MATLAB): onde method = nearest, bilinear ou bicubic. Exemplo: >> A = imread ( lena, tif ); 2

3 >> B = imrotate (A, 45, nearest ); >> imhist(a); % apresenta um gráfico de barras com o histograma da imagem A >> histograma=imhist(a); >> plot(histograma); >> histeq(a); >> imshow(imadjust(a)); Os comandos de cima permitem obter o histograma de uma imagem (imhist: registo do nº de vezes que cada valor ocorre numa imagem), podendo-se também usar as funções histeq e imadjust que permitem efectuar a equalização e a especificação do histograma de uma imagem, respectivamente. A filtragem de uma imagem pode ser conseguida com a função filter2, a qual devolve uma matriz de valores reais. Assim, é necessário arredondar e converter para uint8 para se poder visualizar a imagem filtragem: >> im = imread( movie.bmp ); >> im = rgb2gray(im); >> figure; >> subplot(2,2,1);imshow(im);title('imagem original escala cinza'); >> h = fspecial ( average, 5); % cria um filtro da média (box) >> im2 = uint8(round(filter2(h, im))); >> subplot(2,2,2);imshow(im2);title('imagem filtro media'); >> h= fspecial('motion',20,45); % cria um filtro de efeito movimento >> im3= imfilter(im,h,'replicate'); >> subplot(2,2,3);imshow(im3);title('imagem filtro motion'); >> h=fspecial('unsharp'); % cria um filtro para realce contornos >> im4 = imfilter(im,h,'replicate'); >> subplot(2,2,4);imshow(im4);title('imagem mais nitida'); Podemos criar uma matriz com valores aleatórios e apresentá-la como uma imagem usando a função built-in image ; por exemplo, desta forma: >> c=round(255*rand(255)); >> image(c); Podemos converter uma imagem a cores para uma imagem a preto e branco, nível de cinzas ou imagem a cores indexada com as funções built-in image, rgb2gray, rgb2ind ; por exemplo, desta forma: >> im=imread( lena.bmp ); >> bw=im2bw(im, 0.5); >> imshow(im); >> >> graylena=rgb2gray(im); >>imshow(graylena); >> >>[indlena,mapa]=rgb2ind(im,256); Podemos criar uma sub-imagem a partir de uma imagem já importada e acabada de visualizar: >>im=imread( bird-blue.jpg ); >>imshow(im); >>subimagem=imcrop; % define com o rato a área desejada, em cima da imagem original; acaba com crop image >>imshow(subimagem); 3

4 2. Processamento de vídeo O MatLab tem algumas funções para processamento de vídeo, trabalhando mais facilmente com arquivos do tipo AVI (Audio Video Interleave), aceitando alguns CODECs (codificadores/decodificadores) mais conhecidos como o XViD. É possível abrir arquivos MPEG também. Funções de Video file import/export: aviread Lê arquivo de vídeo (AVI) aviinfo - Retorna informação sobre o arquivo AVI avifile - Cria um novo arquivo AVI mmreader Lê frames de vídeo de um arquivo multimédia (como MPEG) mmfileinfo - Retorna informação sobre o arquivo multimédia movie2avi Cria filme AVI a partir de um filme MATLAB (.mov não do Quicktime) Exemplo: >> info = aviinfo('video1.avi') info = Filename: 'D:\MATLABR2008b\work\video1.avi' FileSize: FileModDate: '03-mai :53:44' NumFrames: 13 FramesPerSecond: 15 Width: 320 Height: 240 ImageType: 'truecolor' VideoCompression: 'none' >> h = info.height; >> w = info.width; A leitura/importação do arquivo de vídeo é feita pelo comando aviread (arquivo AVI) :>> mov = aviread('video1.avi'); Acesso a uma frame específica: >>mov=aviread('video1.avi',3); Mas mov continua a ser do tipo estrutura. Para termos a frame sob o formato de imagem: >>mov1=mov.cdata; E então podemos fazer: >>imshow(mov1); Para tocarmos o vídeo: >>movie(mov); >>movie(mov,rep,info.framespersecond); >>movie(mov,2,2*info.framespersecond); % repete 2 vezes o filme com um taxa de refrescamento dupla da original Conversão de imagem para frame: >>mov1(i)=im2frame(image,map); Variando i podemos criar um filme a partir de várias imagens. 4

5 3. Processamento de áudio Um som pode ser gravado com a função wavrecord, a qual gera um arquivo do tipo wave: >>som=wavrecord(16000,8000,1,'double'); Nota: é necessário ter um dispositivo de entrada de som no computador. Isto cria o vector som do tipo double com amostras com uma taxa de amostragem de 8kHz. O parâmetro 1 indica que é gravado apenas um canal (mono). Para tocar o som: >>soundsc(som); >>soundsc(som,8000); Podemos vizualizar o gráfico: >>plot(som); Podemos normalizar os valores do vector para o intervalo -1 a 1: >>som=som/max(abs(som)); Para ler/importar um arquivo wav: >>som=wavread('teste.wav'); >>[som,fs]=wavread('teste.wav'); >> [som,fs,nbits]=wavread('teste.wav'); Neste ultimo caso obtemos a frequência de amostragem na variável fs e o nº de bits por amostra na variável nbits. Podemos carregar apenas parte do ficheiro.wav: >>sizeinfo = wavread('handel100.wav', 'size'); >>total_amostras = sizeinfo(1); >>startpos = total_amostras / 4; >>endpos = 2 * startpos; >>[som2, fs2] = wavread( handel100.wav, [startpos endpos]); >>sound(som2, fs2); Podemos aplicar filtros ao sinal, onde a e b são coeficientes do filtro (para FIR, a=1): >>y=filter(b,a,som); Podemos calcular FFT: >>som_fft=fft(som,256); >>plot(abs(som_fft)); >>plot(abs(fftshift(som_fft))); Neste ultimo caso obtemos um grafico com as baixas frequências centradas. Utilização de um filtro IIR com função de transferência H(z)= z-1, fazendo com que o som fique mais nasal: >>h=[ ]; >>y=filter(h,1,som); >>sound(y,22000); Divisão do som em 240 frames, filtragem individual dessas frames e reagrupamento das frames filtradas: >>w=240; >>n=floor(length(som)/w); >>for k=1:n seg=som(1+(k-1)*w:k*w); segf=filter(h,1,seg); outsp(1+(k-1)*w:k*w)=segf; end >>sound(outsp,22000); Criação de música Onda sinusoidal de amplitude 1 e frequência Hz (corresponde a um pitch C num piano, uma oitava acima do C médio): >>cnote=sin(2*pi*523.25*(0: :0.5)); O vector cnote contem amostras da onda sinusoidal de t=0s até t=0.5s, separadas de s (intervalo de amostragem Ts=1/ fs), correspondente a fs=8khz. 5

6 Gravar esse som num ficheiro wav: >>wavwrite(cnote,'c.wav'); Para obter a lista das frequências de diferentes notas: Criar mais notas: >> f= sin(2*pi*174.61*(0: :0.5)); >>g = sin(2*pi*195.99*(0: :0.5)); >>a = sin(2*pi*220*(0: :0.5)); >>b = sin(2*pi*246.94*(0: :0.5)); >>c=cnote; >>line1=[a,b,c,f,g]; >>line2=[c,f,g,b,a]; >>song=[line1,line2]; 6