Compressão e Codificação de Dados Segundo Exame e Primeiro/Segundo Teste

Transcrição

1 Compressão e Codificação de Dados Segundo Exame e Primeiro/Segundo Teste Mestrado em Engenharia Electrotécnica e de Computadores, IST 29 de Janeiro de 213 WARNING: there were several different versions of the exam, with the correct answers to the questions in Part I in different positions, and some small differences in the problems of Part II. NOTAS: (a) Exame (3 horas). Parte I: tudo (certa =.5; errada =.25). Parte II: tudo. (b) 1 o teste (9 minutos). Parte I: questões 1 1 (certa = 1, errada =.5). Parte II: problemas 1 e 2. (c) 2 o teste (9 minutos). Parte II: questões 11 2 (certa = 1, errada =.5). Parte II: problema 3. (d) Factos potencialmente úteis: log 1 (2).3; log 2 (7) 2.87; log 2 (5) 2.322; log Seja X {, 1, 2,..., 9999} a variável aleatória (v.a.) que representa o resultado do sorteio da rifa anual de uma determinada associação de bombeiros voluntários; então, a) H(X) = 13 bits/símbolo; b) H(X) < 13 bits/símbolo; c) H(X) > 13 bits/símbolo. Solution: since X takes 1 different values with equal probability, H(X) = log 2 1 = log > 13 (because 2 13 = 8192 and 2 14 = Sejam A, B e C as variáveis aleatórias que representam os três primeiros dígitos do resultado da rifa definida na pergunta anterior (variável aleatória X); então, a) H(A, B, C) = H(X); b) H(A, B, C) < H(X); c) H(A, B, C) > H(X). Solution: of course, only three digits of a four digit number have less uncertainty that the full number. 3. Seja Z a v.a. que representa a soma dos quatro dígitos do resultado da rifa definida na pergunta 1; então, a) H(Z) = H(X); b) H(Z) < H(X); c) H(Z) > H(X). Solution: Z is a function of X (if you know the number, you can compute the sum of its digits), thus H(Z) H(X). Obviously, it is not an injective function (for example, X = 2 Z = 2, and X = 11 Z = 2), thus H(Z) < H(X). 4. Seja X a v.a. definida na pergunta 1 e A a v.a. que representa o primeiro dígito do resultado da rifa; então a) H(X A) = 9 bits/símbolo; b) H(X A) < 9 bits/símbolo; c) H(X A) > 9 bits/símbolo. Solution: given one of the digits, the remaining three digits can take 1 different values with uniform probability; thus, H(X A) = log 2 1 > 9 (recall that 2 9 = 512 and 2 1 = 124). 1

2 5. Sejam X e A as v.a. definidas na questão anterior; então a) H(A X) = H(A); b) H(A X) = H(X); c) H(A X) =. Solution: of course, if you know the number X you know any of its digits, thus H(A X) =. 6. Sejam X e A as v.a. definidas na questão anterior; então a) I(A; X) = H(A); b) I(A; X) = H(X); c) I(A; X) =. Solution: I(A; X) = H(A) H(A X) = H(A) (we showed in the previous question that H(A X) =. Intuitively, the amonunt of information that a digit has about the number to which it belongs is simply the amount of information it has about itself. 7. Seja L X o valor esperado do comprimento do código binário óptimo para v.a. X (definida na questão 1) e L A o valor esperado do comprimento do código binário óptimo para v.a. A (definida na questão 4); então, a) L X = 4 L A ; b) L X < 4 L A ; c) L X > 4 L A. Solution: this is exactly like a 4-th order source extension. We have four independent sources (the four digits) all with the same alphabet {, 1,..., 9} and the same uniform probability distribution. Since the probabilities are not powers of 2 (they are all 1/1), it is better to code jointly than separately. 8. Considere uma fonte sem memória X {a, b, c, d} (com probabilidades PX = a] =, PX = b] = 1/4, PX = c] = 1/8, PX = d] = 1/8) que gera 1 símbolos/segundo. Um codificador binário óptimo para extensão de segunda ordem esta fonte produz a) < 35 bits/segundo; b) > 35 bits/segundo; c) = 35 bits/segundo. Solution: the probabilities are powers of 2, thus the extension has no effect on the expected length of the optimal code, which is simply 7/4 = 1.75 bits/symbol. Since the source produces 1 bits/second, we have 175 bits/second (which is less that 35 bits/second). 9. Considere a fonte markoviana X = (X 1, X 2,..., X t,...), com X t {1, 2, 3}, com a seguinte matriz de transição 1/4 1/4 P = 1/4 1/4. 1 O valor esperado do comprimento dum esquema de codificação binária óptimo para esta fonte é: a) = 3/2 bit/símbolo; b) > 3/2 bit/símbolo; c) < 3/2 bit/símbolo Solution: the expected code-length is the weighted (by the stationary distribution) average of the expected lengths of the optimal codes for each row of P. In the second and third row, the entropy and expected length of the optimal code are both zero. In the first row, the entropy and the expecte length of the optimal code are both 3/2. Of course, the average of two zeros and 3/2 (with any non-zero weights) is obviously less than 3/2. 2

3 1. Considere a fonte discreta sem memória X {a, b, c, d}, com probabilidades PX = a] =.4, PX = b] =.25, PX =c]=.175, PX =d]=.175. O comprimento da palavra de código aritmético para a sequência bbbb é a) 8 bits; b) 9 bits; c) 1 bits. Solution: the length of the arithmetic code-word for the sequence is log P(bbbb) + 1. Since P(b) =.25 = 1/4 = 2 2, we have P(bbbb) = 2 8 and log P(bbbb) + 1 = = = Qual das seguintes palavras binárias corresponde ao código delta de Elias para o número natural 19? a) 1111; b) 11111; c) 111. Solution: option (c) must be wrong, because 19 is odd, and any binary number ending in is even. Now, we know that 19 1 = 111 2, which has length 5. So, we need to write 5 using the Elias gamma code, which is its binary expression 11 preceded by a sequence of 2 zeros. Finally, we remove the leading 1 from the binary expression for 19, getting Qual das seguintes sequências corresponde à codificação Lempel-Ziv-Welch (LZW) da sequência gaba a baga e a faca do alfabeto {espaço, a, b, c, d, e, f, g}, assumindo que os índices do dicionário começam em 1? a) 8,2,3,2,1,12,11,9,...; b) 8,2,3,1,1,12,11,9,...; c) 9,2,3,2,1,12,11,8,... Solution: its easy to see that option (c) must be wrong, because the first symbol is g, which is the 8- th symbol of the alphabet {espaço, a, b, c, d, e, f, g}. Obviously, the sequence 8,2,3,2 means gaba, while 8,2,3,1 means gab. 13. Considerando o mesmo alfabeto da questão anterior (e os índices do dicionário a começar em 1), qual das seguintes sequências corresponde à descodificação LZW da sequência 7, 2, 9, 11, 1, 13, 9? a) faffaafffaaaff; b) fafafafafafafa; c) nenhuma das anteriores Solution: simply use the LZW decoding procedure. 14. Considere a v.a. X, 1] R com função densidade de probabilidade (p.d.f.) uniforme no intervalo, 1] e a v.a. Y R, também com suporte em, 1], com a seguinte p.d.f. f Y (y) = 2 2x. Qual das seguintes afirmações é verdadeira? a) h(x) = h(y ); b) h(x) < h(y ); c) h(x) > h(y ). Solution: simply observe that a triangular distribution over, 1] is less spread than a uniform distribution. 3

4 15. Considere uma v.a. real Z R cuja entropia diferencial é h(z); para uma variável T = g(z), em que g é uma função injectiva, verifica-se necessariamente que a) h(t ) h(z); b) h(t ) = h(z); c) nenhuma das respostas anteriores. Solution: for example, consider the variable X in the previous question, which has h(x) = log 1 =. Take Y = αx, which, of course, is an injective function (if α ). Now, H(Y ) = + log α = log α, which is positive (thus larger than h(x)), if α > 1, and negative (thus smaller than h(x)) if α < Considere uma fonte X 1, 1] com função densidade de probabilidade f X (x) = (3/2) x 2, ligada a um quantizador não uniforme com as seguintes 4 regiões: R = 1, 2/3], R 1 =] 2/3, 1/3], R 2 =] 1/3, ] e R 3 =], 1]. O representante óptimo de cada uma destas regiões a) localiza-se sempre à direita do centro da região; b) localiza-se sempre à esquerda do centro da região; c) nenhuma das respostas anteriores. Solution: for x <, the pdf (3/2) x 2 is decreasing with x, thus the optimal region representatives are towards the left side of the regions. For x >, the pdf (3/2) x 2 is increasing with x, thus the optimal region representatives are towards the right side of the region. 17. Considere a fonte e o quantizador definidos na questão anterior (16); a entropia da saída do quantizador é a) = 1 bit/símbolo; b) > 1 bit/símbolo; c) < 1 bit/símbolo. Solution: the probability p 3 = P(X R 3 ) = P(X ], 1]) = (because the pdf is symmetric. Thus, the other three probabilities satisfy p 1 + p 2 + p 3 =. So, we need one bit (the entropy of (, ) is 1 bit/symbol) to distinguish between R 3 and the other three regions, plus some more information to distinguish the other three regions. 18. Considere ainda a fonte definida na questão 16, agora ligada a um quantizador de 2 bits com o seguinte conjunto de representantes de regiões (o codebook): {y = 3/4, y 1 = 1/4, y 2 =, y 3 = 3/4}. Então, o ponto que separa a região R 1 da região R 2, no quantizador que minimiza o erro quadrático médio para este codebook a) situa-se exactamente em zero; b) situa-se à esquerda de zero; c) situa-se à direita de zero. Solution: the boundary between two regions does not depend on the pdf of the input to the quantizer and is simply the mid-point between the two elements of the codebook. Thus, the separation between R 1 and R 2 is at ( ( 1/4) + ) /2 = 1/ Considere ainda a fonte definida na questão 16, agora ligada a um quantizador uniforme de 4 bits. O erro quadrático médio resultante é a) = 2 8 /3 ; b) < 2 8 /3; c) > 2 8 /3. Solution: the high resolution approximation for a uniform quantizer is 2 /12, where is the width of the regions. In this case, we have 2 4 = 16 regions over 1, 1], thus = 1/8 = 2 3, and 2 = 2 6, and 2 /12 = 2 8 /3, because 12 = However, this is not the exact value, because the pdf is not uniform; the exact MSE is lower than the high resolution approximation. 4

5 2. Considere um par de variáveis aleatórias reais X = X 1, X 2 ] R 2, independentes e ambas com função densidade de probabilidade gaussiana, com média e variâncias iguais. Considere o quantizador vectorial óptimo de 4 bits (16 regiões) para X; as regiões desse quantizador vectorial a) são quadrados; b) são hexágonos; c) nenhuma das respostas anteriores. Parte II Problema 1 Considere uma fonte discreta sem memória X {2, 3}, com probabilidade P X = 2 ] = 2/3. Considere uma outra fonte Y que gera símbolos de acordo com Y = X N, onde N {1, 2} é uma variável aleatória, independente de X, com probabilidade P N = 1 ] =. Solution: The following is the table of joint probabilities of the pair (X, Y ) P (X, Y ) x = 2 x = 3 y = 2 1/3 y = 3 1/6 y = 4 1/3 y = 9 1/6 Notice that this table shows that X is a function of Y (that is, knowing Y implies knowing X), thus H(X Y ) =. From this table we also immediately get the marginal of Y : PY = 2] = PY = 4] = 1/3 and PY = 3] = PY = 9] = 1/6. a) Obtenha as seguintes quantidades: H(X) = (2/3) log 2 (3/2) + (1/3) log 2 3 = (2/3) + log bit/symbol H(Y ) = (2/3) log (2/6) log 2 6 = log (1/3) 1.92 bit/symbol H(X, Y ) = H(X Y ) + H(Y ) = + H(Y ) = log (1/3) 1.92 bit/symbol H(Y X) = H(X, Y ) H(X) = log (1/3) + (2/3) log 2 3 = 1 bit/symbol I(X; Y ) = H(X) H(X Y ) = H(X) = (2/3) + log bit/symbol b) Calcule os comprimentos médios dos códigos binários óptimos para as fontes X e Y : Solution: C opt (X) is trivial, since it can only take two values. For C opt (Y ), simply use the Huffman procedure to design the optimal code. LC opt (X)] = 1 bit/symbol LC opt (Y )] = 2 bits/symbol c) Calcule o comprimento médio do código binário conjunto óptimo para o par (X, Y ) (isto é, do código óptimo para a distribuição conjunta de (X, Y )). Solution: Simply use the Huffman procedure to design the optimal code (using the probabilities in table above): LC opt (X, Y )] = 2 bits/symbol d) Calcule o comprimento médio do código quaternário óptimo para a extensão de segunda ordem da fonte X (expresso em quadrits por símbolo da fonte X). Solution: since Y only takes four different values, the solution is trivial: L 2 C opt 2 (X)] = 1 quadrit/symbol 5

6 Problema 2 Considere uma fonte markoviana de primeira ordem, com alfabeto {a, b, c}, com a seguinte matriz de transição: a) Determine a distribuição estacionária desta fonte. Solution: P (X t X t 1 ) X t = a X t = b X t = c X t 1 = a 1/4 1/4 X t 1 = b 1 X t 1 = c 1 p =, 1/8, 3/8] as you can check by observing that P T, 1/8, 3/8] T =, 1/8, 3/8] T. b) Sabendo que a probabilidade da sequência abca é o dobro da probabilidade da sequência bcaa e o triplo da da sequência cabc, isto é, Pabca] = 2Pbcaa] e Pabca] = 3Pcabc], determina a distribuição inicial. Solution: To simplify the notation, write PX 1 = a] = p a, PX 1 = b] = p b, and PX 1 = c] = p c. Knowing that Pabca] = p a 1/4 1 1 = (1/4)p a, that Pbcaa] = (1/4)p b, and that Pcabc] = (1/4)p c, we can write the two relations given in the question as p a = 2 p b and p a = 3p c. Combining with the condition p a + p b + p c = 1, we have a system of three equations with solution p 1 p a, p b, p c ] = 6/11, 3/11, 2/11 ]. c) Determine a taxa de entropia condicional desta fonte e o comprimento médio do esquema de codificação óptimo. Solution: The entropies of the 2nd and 3rd rows are zero, and the entropy of the first row is 3/2. Thus, H(X) = (3/2) () + (1/8) + (3/8) = 3/4 bits/symbol LC opt (X)] = (3/2) () + (1/8) + (3/8) = 3/4 bits/symbol where the equality between the two results from the fact that all non-zero probabilities are powers of 2. d) Considere que esta fonte é codificada com um código fixo, {C(a) =, C(b) = 1, C(c) = 11}; calcule o comprimento médio resultante. Solution: The expected length under the distribution in the first row is L 1 = 1 (1/4)+2 (1/4)+2 (1/4) = 5/4 bits/symbol. For rows 2 and 3, we have L 2 = = 2 bits/symbol, and L 2 = = 1 bits/symbol. Finally Problema 3 LC(X)] = (5/4) () + 2 (1/8) + 1 (3/8) = 1/8 = 5/4 bits/symbol. Considere uma variável aleatória real X, com função densidade de probabilidade { B x x 1, 1, f X (x) = x 1, 1]. a) Determine B para que f X seja uma função densidade de probabilidade válida. Solution: The area of f X (x) is that of two triangles of base 1 and height B, that is, each has area B/2, then the sum of the two areas is B. Since this total area has to be one, such that 1 f X(x)dx = 1, B = 1. b) Considere que a variável X está aplicada na entrada de um quantizador não uniforme com as seguintes 3 células: R = 1, ], R 1 =], ], R 2 =], 1]. Determine os respectivos representantes óptimos. 6

7 Solution: y = y 2 = 7 9 (due to the symmetry of the problem; see y 2) y 1 = (trivial, because the region is symmetric around and so is the pdf.) ] x x dx x 2 1 dx x 3 /3 ( ) (1/3) (4) y 2 = = = = ( ) = 7 x dx x dx x 2 () (1/8) /2 dx 9 c) Considere que a variável X está aplicada a na entrada de um quantizador com as seguintes 3 células: R = 1, C], R 1 =] C, C], R 2 =]C, 1]. A saída deste quantizador é uma variável aleatória discreta X = Q(X) {y, y 1, y 2 }. Determine C para que a entropia H ( X) tome o máximo valor possível. Solution: Define p = PX R ] = P X = y ], p 1 = PX R 1 ] = P X = y 1 ], and p 2 = PX R 2 ] = P X = y 2 ]. Of course, by symmetry of the pdf and of R 1, we have p = p 2 = (1 p 1 )/2. So, to maximize the entropy we need p 1 = 1/3 (which implies that p = p 2 = (1 (1/3))/2 = 1/3), that is, C x dx = 1 C 3 2 x dx = 1 x 2 ] C = 1 3 C2 = C = 3 C d) Considere agora que variável X está aplicada na entrada de um quantizador uniforme óptimo de 1 bit (isto é, com as seguintes 2 células: R = 1, ] e R 1 =], 1]. Determine o valor exacto do erro quadrático médio (mean squared error MSE) e a sua aproximação de alta resolução (designada MSE). Solution: first we need the optimal representatives. Of course, by symmetry, y = y 1, and Now, by symmetry of the regions, MSE = 2 y 1 = ( ) ( 2x x (2/3) dx = 2 x 3 dx x 4 /4 x 2 dx (x 3 /3) = x dx (x 2 /2) =(1/4) (4/3) x 2 dx x 3 /3 =(1/3) For the high-resolution approximation, since = 1, we have simply MSE = 2 12 = = (1/3) () = (2/3) 2 x dx x 2 /2 =() ) ( 2 = = 9) 1 18 e) Considere agora que variável X está aplicada na entrada de um quantizador não uniforme com as seguintes 11 células: R = 1, ] e R i =](i 1)/1, i/1], para i = 1,..., 1. Determine aproximação de alta resolução do erro quadrático médio, designada MSE. Solution: using the facts that p = PX R ] =, that i = (1/1), for i = 1,..., 1, and that 1 i=1 p i = 1 p, we obtain MSE = i= p i 2 i = 1 ( PX R ]= {}}{ 1 p + i=1 p i 2 i (1/1) 2 ) = 1 12 ( p i i=1 ) = 1 12 ( ) = =