Compressão e Codificação de Dados. Primeiro Exame e Segundo Teste

Transcrição

1 Compressão e Codificação de Dados. Primeiro Exame e Segundo Teste Mestrado em Engenharia Electrotécnica e de Computadores, IST 7 de Janeiro de 2012 Nome: Número: NOTAS: Exame (3 horas): tudo. Segundo teste (90 minutos): Parte I, questões 11 20; Parte II, problemas 2 e Parte I (exame): resposta certa = 0.5 valores; resposta errada = 0.25 valores. 3. Parte I (teste): resposta certa = 1 valor; resposta errada = 0.5 valores. 4. Factos potencialmente úteis: log ; log 10 (2) 0.30; log a b = (log c b)/(log c a). Parte I 1. Sejam X, Y {1, 2,..., 6} duas variáveis representando o resultado do lançamento de dois dados equilibrados independentes e Z = X + Y a sua soma (note que Z {2, 3,..., 12}); então, a) H(Z) < log 2 11 bits/symbol; b) H(Z) = log 2 11 bits/symbol; c) H(Z) > log 2 11 bits/symbol. 2. Sejam X, Y, Z as variáveis aleatórias definidas na questão anterior e U = Z 2 uma outra variável; então, a) H(U) < log 2 11 bits/symbol; b) H(U) = log 2 11 bits/symbol; c) H(U) > log 2 11 bits/symbol. 3. Sejam A {1, 2, 3, 4} e B {5, 10, 15, 20} um par de variáveis aleatórias. Seja X = B A uma nova variável, função de A e B. Então é necessariamente verdade que a) H(X) = H(A). b) H(X) = H(B). c) H(X) = H(A, B). 4. Considere que as variáveis aleatórias A e B da questão anterior são independentes e têm distribuições marginais não uniformes; então, then, a) I(X; A) < 2 bits/symbol; b) I(X; A) = 2 bits/symbol; c) I(X; A) > 2 bits/symbol. 5. Considere as variáveis aleatórias A e B da questão 3 não são independentes mas têm distribuições marginais uniformes; então, a) I(X; A) < 2 bits/symbol; b) I(X; A) = 2 bits/symbol; c) I(X; A) > 2 bits/symbol. 6. Considere o código {C(a) = 0, C(b) = 10, C(c) = 110, C(d) = 111} para uma fonte com alfabeto {a, b, c, d}, com probabilidades P (a) > P (b) = P (c) = P (d). a) Este código é necessariamente óptimo; b) este código é necessariamente não óptimo; c) este código pode ser, ou não, óptimo. 1

2 7. Para uma fonte que gera símbolos do alfabeto {a, b, c, d} com probabilidades P (a) = P (b) = P (c) > P (d), a) qualquer código óptimo é um código de Huffman; b) há códigos óptimos que não são códigos de Huffman; c) há códigos de Huffman que não são óptimos. 8. Considere uma fonte sem memória X {a, b, c, d}, com distribuição de probabilidades uniforme, gerando 5000 símbolos/segundo. Qual é a menor ordem de extensão necessária para ser possível transmitir a informação gerada por esta fonte através de um canal binário cuja taxa máxima de transmissão é bits/segundo? a) 2; b) 3; c) não é necessária qualquer extensão. 9. Considere uma fonte X {a, b, c}, com probabilidades P (a) = 1/6, P (b) = 1/3 e P (c) = 1/2. O valor esperado do comprimento do código ternário óptimo para esta fonte é a) 2/3 trits/símbolo; b) 1 trit/símbolo; c) 4/3 trits/símbolo 10. Considere uma fonte X {a, b, c, d, e} com probabilidades P (a) = 1/3, P (b) = 1/3, P (c) = P (d) = P (e) = 1/9. O valor esperado do comprimento do código ternário óptimo para a extensão de segunda ordem desta fonte (referida aos símbolos da fonte original) é a) 3/4 trits/símbolo; b) 4/3 trits/símbolo; c) 8/3 trits/símbolo 11. Considere uma fonte que gera símbolos do alfabeto {a, b, c}, com probabilidades {1/2 ε, 1/4 + ε, 1/4}, com ε [0, 1/4]. O código {C(a) = 0, C(b) = 10, C(c) = 11}, a) é óptimo para qualquer valor de ε [0, 1/4]. b) não é óptimo para qualquer valor de ε [0, 1/4]. c) apenas é óptimo para alguns valores de ε [0, 1/4]. 12. Considere uma fonte markoviana de primeira ordem com a seguinte matriz de transição: A taxa de entropia condicional desta fonte verifica P (X n X n 1 ) X n = a X n = b X n = c X n 1 = a 1/3 1/3 1/3 X n 1 = b 1/3 1/3 1/3 X n 1 = c 1/2 1/2 0 a) H (X) < log 2 3 bits/símbolo; b) H (X) = log 2 3 bits/símbolo; c) H (X) > log 2 3 bits/símbolo.; 13. Seja p a distribuição estacionária da fonte da questão 12. Então, a) p = (1/4, 3/8, 3/8); b) p = (3/8, 1/4, 3/8); c) p = (3/8, 3/8, 1/4); 2

3 14. Considere uma fonte markoviana de primeira ordem com a seguinte matriz de transição: P (X n X n 1 ) X t = a X t = b X t = c X t = d X t 1 = a 0 1/2 1/4 1/4 X t 1 = b 1/2 0 1/4 1/4 X t 1 = c 1/2 1/4 0 1/4 X t 1 = d 1/2 1/4 1/4 0 O valor esperado do comprimento de um esquema de codificação ternária óptima é a) > 1 trit/símbolo; b) = 1 trit/símbolo; c) < 1 trit/símbolo. 15. Considere que sequência abacad foi gerada pela fonte da questão 14. Assumindo que a distribuição do símbolo inicial é uniforme (1/4, 1/4, 1/4, 1/4), qual o comprimento da palavra de código aritmético resultante? a) 9 bits; b) 10 bits; c) 11 bits. 16. Qual das seguintes sequências tem maior probabilidade de ter sido gerada pela fonte dada na questão 14? (assuma distribuição inicial uniforme). a) abacaddacaba b) abcddcbabcda c) acbdcadbadbc 17. Qual das seguintes sequências corresponde à codificação Lempel-Ziv-Welch da sequência abcaababcabca. Assuma que o alfabeto é {a, b, c} e que os índices do dicionário começam em 1. a) 1, 2, 3, 1, 4, 4, 6, 5, 1. b) 1, 2, 3, 2, 3, 4, 6, 5, 1. c) 1, 2, 3, 1, 4, 4, 6, 5, Considere uma fonte X R com função densidade de probabilidade f X (x) = (3/2) x 2, para x [ 1, 1], e f X (x) = 0, para x [ 1, 1], aplicada na entrada de um quantizador uniforme com 2048 regiões. O representante óptimo de cada região a) localiza-se sempre à esquerda do centro da região; b) localiza-se sempre à direita do centro da região; c) nenhuma das respostas anteriores. 19. Considere a fonte e o quantizador definidos na questão 18. A entropia da saída do quantizador é a) menor que 11 bits/símbolo; b) igual 11 bits/símbolo; c) maior que 11 bits/símbolo. 20. Considere a variável aleatória X com função densidade de probabilidade uniforme no intervalo [0, 1], quantizada por um quantizador uniforme de 8 bits. Se o número de bits do quantizador for aumentado para 10, o erro quadrático médio resultante a) reduz-se por um factor de 8; b) reduz-se por um factor de 12; c) reduz-se por um factor de 16. 3

4 Parte II Problema 1 Considere duas fontes discretas sem memória, X e Y ; a fonte X gera símbolos do alfabeto {a, b, c, d}, com probabilidades P (X = a) = 3/4, P (X = b) = P (X = c) = P (X = d) = 1/12; a fonte Y gera símbolos do alfabeto {1, 2, 3} com probabilidades P (Y = 1) = 2/3, P (Y = 2) = P (Y = 3) = 1/6. 1. Determine as entropias H(X) e H(Y ), desenhe códigos óptimos para as duas fontes e calcule os respectivos valores esperados do comprimento. 2. Considere que a distribuição de probabilidades conjunta P (X = x, Y = y) é a seguinte (a qual é compatível com as marginais dadas acima): y a 2/3 1/12 0 x b 0 1/12 0 c 0 0 1/12 d 0 0 1/12 Calcule a entropia conjunta H(X, Y ); é igual H(X) + H(Y )? Porquê? 3. Para a distribuição de probabilidades conjunta dada na alínea anterior, calcule H(X Y ), H(Y X) e I(X; Y ). 4. Desenhe um código conjunto óptimo para o par (X, Y ); note que este par toma valores no conjunto {(a, 1), (a, 2), (a, 3), (b, 1), (b, 2), (b, 3), (c, 1), (c, 2), (c, 3), (d, 1), (d, 2), (d, 3)}, com as probabilidades dadas na tabela da alínea 2. Calcule o correspondente valor esperado do comprimento, compare com os resultados da alínea 1 e comente os resultados. 5. Para a distribuição conjunta da alínea 2, quantos códigos óptimos existem? 6. Considere agora que as variáveis X e Y são independentes, isto é, P (X = x, Y = y) = P (X = x) P (Y = y) (onde P (X = x) e P (Y = y) são as marginais dadas acima), em vez da distribuição conjunta dada na alínea 2. Calcule a entropia conjunta H(X, Y ) e desenhe um código conjunto óptimo para o par (X, Y ). Calcule o correspondente valor esperado do comprimento, compare com os resultados das alíneas 1 e 4 e comente os resultados. Problema 2 Considere uma fonte markoviana de primeira ordem, com alfabeto {a, b, c, d}, definida pela seguinte matriz de transição: P (X t X t 1 ) X t = a X t = b X t = c X t = d X t 1 = a 1/8 1/8 1/4 1/2 X t 1 = b 1/2 1/8 1/8 1/4 X t 1 = c 1/4 1/2 1/8 1/8 X t 1 = d 1/8 1/4 1/2 1/8 1. Determine a distribuição estacionária desta fonte, a entropia da distribuição estacionária, a taxa de entropia condicional e comente os resultados. 2. Apresente um esquema de codificação binário óptimo para esta fonte e determine o comprimento médio resultante. Compare com a taxa de entropia taxa de condicional e comente. 3. Apresente um esquema de codificação ternário óptimo para esta fonte e determine o comprimento médio resultante. 4

5 Problema 3 Considere uma variável aleatória real X, com função densidade de probabilidade 1/2 ε x [ 1, 0[, f X (x) = 1/2 + ε x [0, 1], 0 x [ 1, 1]. 1. Considere ε = 3/8 e que a variável X está aplicada na entrada de um quantizador uniforme de 2 bits (4 células, R 0, R 1, R 2, R 3 ), definido no região [ 1, 1]. Determine os representantes óptimos das 4 células e calcule o valor exacto do erro quadrático médio de quantização. 2. O quantizador obtido na alínea anterior é óptimo? Justifique (por exemplo, se não for óptimo, apresente um quantizador melhor). 3. Considere ε = 1/8; determine a entropia da variável indicadora do quantizador I(X), isto é, a variável discreta que indica em qual das quatro células se encontra a variável de entrada: I(x) = i x R i. 4. Considere agora a variável aleatória Y cuja função densidade de probabilidade é f Y (y) = y 1, para y [0, 2], e f Y (y) = 0, para y [0, 2]. Determine os representante óptimos das duas regiões de quantizador uniforme de 1 bit (R 0 = [0, 1[ e R 1 = [1, 2]). 5