ELE32 Codificação com perda de informação. ITA 2º. Semestre de 2016

Transcrição

1 ELE32 Codificação com perda de informação ITA 2º. Semestre de 2016

2 Codificação com perda de informação Não é possível transmitir através de um canal toda a informação sobre uma fonte de v.a. s, X cuja entropia H(X) é maior do que a capacidade do canal C Neste caso, é necessário codificar o valor X num valor Y de forma que a entropia do valor codificado H(Y) seja menor ou igual à limitação do sistema A entropia da fonte H(X) é a menor quantidade em média de informação necessária para representá-la completamente Utilizar um sinal codificado cuja entropia é menor do que a da fonte implica que o sinal codificado não será capaz de representar a fonte completamente, ou seja, haverá perda de informação

3 Y pode ser gerado através de quantização Quantização é o processo pelo qual um conjunto de valores possíveis de uma variável X (não necessariamente analógica) é representado por um único valor de Y Como a relação entre X e Y é de muitos para 1, não é possível obter exatamente o valor de X a partir de Y Y é uma representação mais simples de X e sua entropia deve ser menor ou igual à entropia de X A quantização pode ser feito tanto termo a termo (quantização escalar) como vetorialmente (quantização vetorial) É realizado através de um quantizador que toma como argumento o valor de X e retorna um valor de Y

4 Quantização escalar Fonte X i Quantizador Y i Valor quantizado Escalar Escalar

5 Processo de quantização O processo de quantização pode ser definido em duas operações: Inicialmente, valores de X são agrupados em N conjuntos R i que serão representados pelo mesmo valor Cada um destes conjuntos é representado por uma palavra código cujo comprimento pode ser fixo ou variável Definidos os conjuntos, escolhe-se um valor y i que representará todos os valores de X que estão dentro do conjunto R i O quantizador é completamente definido pela relação entre X e R i (codificação) e pela relação entre R i e y i (decodificação) As regiões ou partições R i podem também ser definidas pelos limites b i que definem as fronteiras entre regiões O valor a ser transmitido/armazenado não é necessariamente y i : qualquer símbolo/palavra-código que permita a identificação de Ri pode ser mapeado corretamente em y i se a relação de decodificação for conhecida

6 Exemplos Arredondamento de números: Mais próximo R i = {X i-0.5 X<i+0.5 } y i = i Menor valor R i = {X i X<i+1 } y i = i Maior valor R i = {X i < X i+1 } y i = i+1

7 Quantização implica em erro(1/3) Como vários valores de X são representados por um único valor de Y, representar algum valor de X por Y implica em alguma distorção, ou erro Se Y = q(x), onde q(x) é o resultado dos processos de codificação e decodificação do quantizador, o erro é dado por: q( X ) O erro pode ser classificado em duas categorias: Granular: Erro quando a variável X está numa região R i limitada por duas fronteiras, uma inferior ou superior, com maior valor possível igual a max[b i- b i-1 ] Overload: Erro quando a variável é menor do que a menor fronteira ou maior do que a maior fronteira, com maior valor possível podendo ser infinito X

8 Y, Quantização implica em erro(2/3) Exemplo: quantizador arredondador saturado em ±3 Fronteiras = ±2.5, ±1.5, ± Y 2 1 Granular 0-1 Overload X

9 Quantização implica em erro(3/3) Se X tem uma pdf p(x), podemos definir a seguinte relação entre X, q(x) e ε: 2 ( ) ( ) 2 E p X q X X dx que é conhecida como ruído de quantização Se P(X) 1, o impacto do erro de overload no ruído é baixo A relação sinal ruído de um processo de quantização é dada por (em decibéis): 2 E X RSR 10log 10 2 E

10 Quantizador uniforme Um quantizador uniforme tem as fronteiras igualmente espaçadas Um quantizador uniforme limitado tem uma fronteira inferior num ponto b 0 e superior num ponto b N Havendo N níveis de quantização, o intervalo de cada partição vale Δ=(b N - b 0 )/N O valor que representa cada uma das partições é que está exatamente no meio da partição, ou seja, y i = (b i - b i-1 )/2

11 Erros do quantizador uniforme Erro máximo = Δ/2 Erro médio se a entrada for uniformemente distribuída entre b N e b 0 : 2 ( ) ( ) E p X q X X dx N b b i1 i1 N 0 b i 1 X ' 2 X dx ' 12 0 b 2 2 dx

12 Quantizador não uniforme pode ser obtido a partir do uniforme É possível através de um compressor e de um decompressor implementar quantizadores não uniformes com base no quantizador uniforme Fonte X W q(w) Z Compressor Quant. uniforme Decompressor Sinal quantizado W sgn X X Z sgn q( X ) q( X ) 2 Utilizar quantizadores não uniformes pode ser vantajoso para representar melhor uma faixa de valores em detrimento da representação de outra faixa de valores

13 Compressores comuns A-law: μ-law: W ( X ) sgn X AX 1, X 1 ln( A) A 1 ln( AX) 1, X 1 1 ln( A) A ln(1 X ) W( X ) sgn X, 1 x 1 ln(1 )

14 Quantizador de alta resolução Um quantizador de alta resolução possui muitos níveis de tal forma que podemos assumir que em qualquer partição R i (não necessariamente com a mesma largura), o comportamento de p(x) é suave, o que implica em: p(x x em R i ) p i dentro de uma partição e, dado que X pertence a R i, o seu comportamento é praticamente uniforme a probabilidade de X pertencer à partição R i é P i (b i -b i-1 )p i, logo A distorção média, neste caso, pode ser aproximada como: N b 2 i 2 q( x) x E P( x Ri ) dx N 1 2 Pii 12 i1 onde Δ i = (b i -b i-1 ) é a largura do i-ésimo intervalo i1 p i P b i i bi 1 b i1 i

15 Taxa do sinal quantizado Se todos os valores de q(x) forem representados com o mesmo número de bits, a taxa do quantizador é dada por: A quantidade de bits para representar os sinais codificados pode ser reduzida ainda mais se a probabilidade de X pertencer a cada um dos níveis não for uniforme A redução pode ser feita através de codificadores de fonte sem perda de informação Neste caso, o limite inferior para a taxa do quantizador é dada por: onde P(y i ) vale: R N i1 log 2 N R ( y ) P( y ) H( Y ) i P( yi ) p( X ) dx XR i i

16 Problema de quantização (1/2) Dado p(x) a definição das fronteiras entre as regiões define a probabilidade de X pertencer a qualquer região R i : consequentemente, a fronteira determina a entropia da saída Dado p(x) e as fronteiras, a escolha de y i que representa a região Ri define a distorção que o quantizador causará Há pares de taxas e distorções que são permissíveis: são todas aquelas que estão acima da curva taxa-distorção Escolher um único nível reduz a entropia (a zero), mas causa muita distorção Escolher muitos níveis reduz a distorção (tendendo a zero), mas a entropia do sinal quantizado será muito grande É necessário escolher um critério para otimização

17 R Problema de quantização (2/2) O problema de quantização pode ser formulado de duas formas: Dado p(x) e uma taxa R, minimize a distorção média Dado p(x) e a máxima distorção média permissível, minimize a 2.5 taxa R Valores possíveis 0.5 Valores não possíveis D

18 Condições que um quantizador deve satisfazer para ser ótimo Um quantizador pode ser dividido em codificador e decodificador Para que um quantizador seja ótimo, as duas condições seguintes devem ser satisfeitas: Dado um codificador que define as partições R i, o decodificador deve ser ótimo Dado um decodificador que relaciona as partições R i com um valor y i, o codificador deve ser ótimo

19 Codificador ótimo para um dado decodificador O codificador ótimo é aquele que reduz a distorção média Dado um decodificador que gera os valores y i, o codificador ótimo é aquele que mapeia um valor de X=x na partição R i se x estiver mais próximo de y i do que de qualquer outro valor de y j, para i j Independentemente da chance de x ocorrer, a distorção será minimizada se esta condição for satisfeita É irrelevante em qual partição os valores de x equidistantes de dois ou mais y i serão mapeados Matematicamente: R x : d( x, y ) d( x, y ); j i i i j É uma condição suficiente para garantir que o codificador é ótimo

20 Decodificador ótimo para um dado codificador Dado um codificador (conjunto de partições), qual é o decodificador ótimo? A distorção causada ao representar a partição R i por um valor y i depende somente dos valores de X que estão dentro da partição R i A distorção média, dado que X esta dentro de R i, vale: 2 : i i E X R E y X Este valor é minimizado quando y i é igual a esperança de X, dado que X esta dentro de R i, ou seja: XR Xp( X ) dx p( X ) dx Esta condição é chamada de condição centróide y i i XR i 2

21 Algoritmo de Lloyd (1/3) O algoritmo de Lloyd utiliza as duas condições de otimização de um quantizador iterativamente para tentar obter um quantizador muito próximo de um ótimo Os limites das partições são otimizados a partir dos valores que representam as partições Os valores que representam as partições são otimizados a partir dos valores que definem os limites das partições É necessário o conhecimento prévio de p(x) e da quantidade de níveis a serem utilizados O processo começa a partir de um conjunto de valroes {y 1,y 2,...,y N } inicial, que pode ser gerado aleatoriamente Se X for limitado entre dois valores, b 0 e b N devem ser iguais a estes limites

22 Algoritmo de Lloyd (2/3) 1. Obtenha um valor inicial de y (1)= {y 1,y 2,...,y N } 2. Otimize os valores das fronteiras de acordo com o seguinte equação: 3. Calcule a distorção D (k) 4. Se ΔD=D (k) -D (k-1) <ξ, encerre o algoritmo 5. Caso contrário, obtenha os valores y (k+1) a partir da seguinte equação: 6. Retorne ao passo 2 ( k) ( k) ( k ) yi 1 yi bi, i 1,2,..., N 1 2 ( k ) N bi ( ) ( ) 2 k k D p( X ) X yi dx i1 ( k ) bi 1 y b ( k ) i ( k1) b i i b ( k ) i1 ( k ) i b ( k ) i1 Xp( X ) dx p( X ) dx

23 Algoritmo de Lloyd (3/3) Exemplo: Seja X uniformemente distribuído entre zero e 1. Desejamos quantizar em 4 níveis. O valor inicial para y (1) é {0.1,0.2,0.3,0.4}. k y 1 y 2 y 3 y 4 b 0 b 1 b 2 b 3 b D 2.333E E E E E E E E E E E-03

24 Quantização vetorial É um mapeamento de um vetor X com dimensão K em um outro vetor Y com dimensão K dentro de um conjunto de vetores possíveis {y 1,y 2,,y N } Cada um dos elementos pode ser representado por uma palavra-código A taxa resultante deste quantizador é dada por: 1 R log2 N K O erro de quantização que ocorre ao se representar um vetor x por um vetor y é dado por: k1 onde x i é o i-ésimo elemento do vetor x, a mesma relação entre y i e y A distorção média é dada pelo valor esperado de ε 2 1 K K ( x y ) i i 2

25 Quantização vetorial Por que fazer? Para uma dada taxa, VQ (Quantização Vetorial) pode resultar numa distorção menor do que SQ(Quantização escalar) Se os símbolos de entrada não são independentes entre si, vetores formados por sequencias de símbolos terão alguns padrões mais comuns

26 Métodos para quantização vetorial Generalização do algoritmo de Lloyd para o caso multidimensional Algoritmo LBG(Linde Buzo Gray) Construção do quantizador baseado em árvores Quantizador por transformação DCT(Discrete Cossine Transform)

27 Algoritmo de Lloyd generalizado(1/3) Critérios de otimalidade e consequentemente das equações utilizadas no algoritmo de Lloyd podem ser facilmente adaptadas para o caso multidimensional Definição do melhor codificador dado um codificador: R x : d( x, y ) d( x, y ); j i i i j Definição do melhor decodificador dado um codificador y i XR i XR Xp( X) dx i p( X) dx

28 Algoritmo de Lloyd generalizado(2/3) 1. Obtenha um conjunto {y 1,y 2,,y N } qualquer 2. Calcule as partições R i ideais para o conjunto de vetores-código em utilização utilizando a condição de otimalidade multidimensional 3. Calcule a distorção 4. Se a variação(redução) na distorção for pequena ou se as partições variaram pouco, encerre o algoritmo 5. Caso contrário, otimize o conjunto {y 1,y 2,,y N } utilizando a condição centróide multidimensional 6. Retorne ao passo 2

29 Algoritmo de Lloyd generalizado(3/3) Exemplo extraído da Wikipédia para o caso com duas dimensões, vetores uniformemente distribuídos Os pontos mostram o valor dos vetores-código no início da iteração As cruzes indicam o valor dos vetores-código no final da iteração 1ª Iteração 2ª Iteração 3ª Iteração 15ª Iteração

30 Processo de codificação e decodificação Dado que os vetores {y 1,y 2,,y N } foram definidos, a quantização de um vetor X é dada pela procura (entre N termos) do valor y i mais próximo de X, o que é representado por um índice (palavra-código) i i A decodificação pode ser feita através de uma tabela que, a partir do índice recebido, retorna o valor de y i correspondente

31 Problemas do algoritmo de Lloyd generalizado Assim como no caso escalar, pode resultar somente num quantizador localmente ótimo Codificador é complexo com o aumento de N, pois a codificação envolve uma única busca N-ária Aumento de N também influencia a complexidade das definição das partições, pois os vetores de entrada devem ser comparados com mais vetores-código Cálculo dos valores de {y 1,y 2,,y N } envolve duas integrais com dimensão K Solução: utilizar um grande número (mas finito) de amostras de X, o que transforma as integrais em somas

32 Algoritmo LBG (1/3) O número de palavras-código duplica entre cada iteração através da divisão de cada palavra-código da iteração anterior em duas O processo pode continuar até que o número de palavras códigos seja adequado Utiliza o algoritmo de Lloyd generalizado como um loop interno

33 Algoritmo LBG (2/3) 1. Inicie com uma palavra-código y 1 *0 que vale E{X}, i= 0, N 0 = 1 2. A cada iteração duplique o número de palavras-código através da seguinte regra: y 1 y (0) * i n n (0) * i ynn 1 yn,1 n N onde ε é um valor escolhido*. Faça i = i+1 e N i = 2N i-1 3. Faça iterações de Lloyd generalizada até que a variação na distorção seja baixa, resultando num conjunto de vetores {y 1 *i, y 2 *i,..., y N *i }, o conjunto de vetores-código ótimos da i-ésima iteração do algoritmo LBG 4. Se o número de palavras-código for insuficiente, retorne ao passo 2. Caso contrário, encerre *: a divisão pode ser feita de outra forma, desde que os vetores descendentes sejam ligeiramente diferentes do ancestral

34 Algoritmo LBG (3/3) Exemplo extraído do site

35 Status dos problemas Cada iteração foi simplificada ao considerar somente um conjunto de vetores teste, implicando em substituição da integral por um somatório para determinação da palavra-código (y i ) A complexidade do algoritmo aumenta com o número de iterações pois o número de palavras-código dobra a cada iteração É necessário comparar cada um dos vetores teste com cada uma das palavras-código O processo de codificação continua complexo, pois ainda é necessário uma busca N-ária para a determinar qual é a palavracódigo a ser transmitida Não há garantia de que teremos um quantizador globalmente ótimo (e nem teremos)

36 Quantização vetorial em árvore (1/2) Reduz a complexidade de construção do quantizador e do processo de codificação Se há N = M K palavras código, a busca N-ária pode ser substituida por K buscas M-árias Para isso, é necessário uma estrutura em árvore

37 Quantização vetorial em árvore Cada nó, exceto os terminais, possui um conjunto de M vetores teste associados, denominado Y* {U1,U2, } (o comprimento do subscrito varia de acordo com a profundidade na qual estamos na árvore) Em cada nó, o vetor X a ser quantizada é comparada com os M vetores teste do nó Escolhe-se o ramo associado ao vetor dentro do conjunto de M vetores teste que for mais próximo de X Repete-se o procedimento até que se chegue a um nó terminal, que possui um vetor-código associado Os ramos que ligam os nós podem ser indexados de forma que a concatenação dos índices do caminho percorrido na arvore da raíz até a ponta seja o rótulo da palavra-código

38 Quantização vetorial em árvore Y* Y* {1} Y* {2} Y* {3} Y* {1,1} Y* {1,2} Y* {1,3} Y* {2,1} Y* {2,2} Y* {2,3} Y* {3,1} Y* {3,2} Y* {3,3} Árvore para M = 3, K = 2

39 Algoritmo de codificação 1. Ache y i pertencente a Y* que minimiza d(x, y i ). U 1 = i, k = k+1 2. Ache y i pertencente a Y*, {U 1 U2,...,Uk-1} que minimiza d(x, y i ). U k = i, k = k+1 3. Se k < K, retorne ao passo 2 4. O índice da palavra código é U 1,...,U K

40 Como construir este quantizador? Estrutura da árvore e conjuntos associados a cada nó para M = 2 vem diretamente de uma variação do algoritmo LBG: Algoritmo original: Todas as palavras código são divididas em 2 Região associada a cada palavra código depende de p(x), ou de todas as amostras de X disponíveis Algoritmo modificado Todas as palavras código são divididas em 2 Região associada a cada nova palavra código depende de p(x) onde X pertence somente à região que foi mapeada para a palavra código mãe Conjunto inicial Y* são os primeiros dois descendentes Conjuntos em cada nó são as descendentes da palavra-código ancestral

41 Exemplo Vetor com duas dimensões uniformemente distribuído entre (-1,-1) e (1,1) Y* = (0.5,0) (-0.5,0) Y* {1} = (0.5,0.5) (0.5,-0.5) Y* {2} = (-0.5,0.5) Y* {1,1} = (0.25,0.5) (0.75,0.5) Y* {2,1} = (-0.25,0.5) (-0.75,0.5) Y* {1,2} = (0.25-,0.5) (0.75,-0.5) Y* {2,2} = (-0.25-,0.5) (-0.75,-0.5) (-0.5,-0.5)

42 Contrapartidas do método É necessário armazenar, além das palavras-código, os conjuntos de vetores teste associados a cada nó Não necessariamente acha a palavracódigo mais próxima, o que resulta num aumento de distorção Não funciona bem com distribuições não simétricas

43 Quantização por transformada (1/2) Queremos quantizar um vetor X K = X 1,X 2,,X K com dimensão K Há alguma correlação entre estes valores, isto é, há alguma redundância É possível que para alguma transformada Y K = f(x K ) Os K valores do vetor Y K não são muito correlacionados Apenas alguns valores de Y K são relativamente grandes, enquanto outros são relativamente muito pequenos e poderiam ser ignorados Se houver tal transformada, é de se esperar que a quantização de Y K seja mais eficiente do que a de X K, embora não haja garantia teórica disto

44 Quantização por transformada (2/2) O esquema da quantização por transformada é dado por: X K Y K q(y K ) X K Fonte Transf. Quant. Transf. Inversa Sinal Quantizado Humanos observam sinais no tempo/espaço que em muitas situações possuem somente alguns componentes espectrais relevantes Logo, uma transformação tempo/espaço frequência pode ser útil

45 Qual transformada usar? DFT? K1 2 i X[ n] x[ k]exp kn k0 N É fácil de implementar (FFT) Envolve números complexos DCT Discrete Cossine Transform K1 1 X[ n] x[ k]cos k n k0 N 2 Coeficientes são reais Assim como a DFT, pode ser implementada eficientemente (FCT) Há variantes (DCT-I, DCT-II, DCT-VIII) que dependem de condições de simetria consideradas

46 DCT(1/4) Transformada DCT-II (unidimensional) Inversa (DCT-III) [ ] [ ]cos 2 K k X n x k k n N [ ] [0] [ ]cos 2 2 K k x n X X k n k N

47 DCT(2/4) Propriedades: Implica na utilização de uma base de cossenos Converte uma sequência de K valores reais em K coeficientes reais da base de cossenos utilizada Assim como a FFT, a FCT(Fast Cossine Transform) possui complexidade O(KlogK) Possui extensões multidimensionais K11K X[ n1, n2] x[ k1, k2]cos k1 n1 cos k2 n2 k10 k20 K1 2 K2 2

48 DCT(3/4) Base de cossenos unidimensional (K = 8) Base de cossenos bidimensional (K 1 = K 2 = 8)

49 Amplitude DCT(4/4) Exemplo: Transformação e quantização de um sinal de áudio com 8 amostras X = [ ] 0.2 DCT(X) = [ ] 0 DCT(X ) = [ ] Sinal Original Sinal Amostrado Sinal codificador Tempo X =[ ] ε =[ ] RSR 20dB

50 Compressão de imagens com a DCT - JPEG Assume a hipótese de que pixels vizinhos numa imagem que faça sentido para seres humanos serão semelhantes Represente cada pixel da imagem através do padrão Y CbCr Cada pixel é representado por um valor que representa a luminescência (Y) e dois que representam a crominância (Cb e Cr) Como os valores são usualmente representados por 8 bits, a faixa de valores possíveis são os inteiros entre 0 e 255 inclusive Como o olho humano é mais sensível a variações na luminescência do que em cores, a resolução dos valores Cb e Cr é reduzida Cada componente da imagem é processado separadamente a partir de então

51 Compressão de imagens com a DCT - JPEG A imagem é quebrada em blocos de 8x8 pixels Os valores são centralizados em torno de zero (subtrai-se 128 quando são utilizados 8 bits) Para cada bloco obtém-se a DCT, que também é uma matriz 8x8. Para armazenar os valores corretamente, a precisão dos números é temporariamente aumentada A quantização ocorre com perda de informação: Divide-se a matriz obtida no passo anterior por uma matriz de quantização previamente definida, célula a célula A matriz de quantização possui valores menores para as baixas frequências, de modo que a matriz resultante da divisão terá valores representando as altas frequências muito próximas de zero Após a divisão os valores são arredondados para o inteiro mais próximo. Valores representando altas frequências frequentemente serão arredondadas para zero

52 Compressão de imagens com a DCT - JPEG Divide-se a matriz obtida no passo anterior por uma matriz de quantização previamente definida, célula a célula A matriz de quantização possui valores menores para as baixas frequências, de modo que a matriz resultante da divisão terá valores representando as altas frequências muito próximas de zero Após a divisão os valores são arredondados para o inteiro mais próximo, causando perda de informação. Valores representando altas frequências frequentemente serão arredondadas para zero Uma qualidade maior pode ser obtida multiplicando-se a matriz por um escalar antes do arredondamento, o que faria com que mais valores sejam diferentes de zero após o arredondamento

53 Compressão de imagens com a DCT - JPEG A matriz arredondada é serializada através da leitura dos seus termos em zigzag A sequência (finita) obtida pode possuir um valor especial para indicar que o restante dos elementos vale zero Os elementos da sequência são codificados através de um código de Huffman

54 Exemplo (1/7) Fonte: Wikipédia Seja a seguinte (sub)imagem e sua respectiva matriz, com valores entre 0 e

55 Exemplo (2/7) Normalização e transformação da matriz DCT

56 Exemplo (3/7) Divisão pela matriz de quantização / =

57 Exemplo (4/7) Arredondamento para o inteiro mais próximo

58 Exemplo (5/7) Serialização dos valores Indica que o restante da sequência vale zero E0B

59 Exemplo (6/7) Reconstrução da imagem se dá pelo processo reverso Matriz original Matriz recomposta

60 Exemplo (7/7) Reconstrução da imagem se dá pelo processo reverso Matriz original Matriz recomposta