Segundo Exame e Repescagem de Testes. Mestrado em Engenharia Electrotécnica e de Computadores, IST 25 de Janeiro de 2014

Transcrição

1 Compressão e Codificação de Dados Segundo Exame e Repescagem de Testes Mestrado em Engenharia Electrotécnica e de Computadores, IST 25 de Janeiro de 201 Nome: Número: NOTAS: 1. Exame (3 horas): tudo. Primeiro teste (90 minutos): Parte I, questões 1 10, Parte II, Problemas 1 e 2. Segundo teste (90 minutos): Parte I, questões 11 20; Parte II, Problema 3. Parte I 2. Parte I (exame): resposta certa = 0.5 valores; resposta errada = 0.25 valores. 3. Parte I (testes): resposta certa = 1 valor; resposta errada = 0.5 valores.. Factos potencialmente úteis: log 10 (2) 0.30; log ; log 2 (5) 2.322; log 2 (7) Considere dois baralhos (A e B) de cartas convencionais (52 cartas). Seja H 1 a quantidade de informação (em bits) adquirida ao extrair de modo aleatório e observar uma carta do baralho A. Seja H 2 a quantidade de informação (em bits) adquirida ao extrair de modo aleatório e observar um par de cartas, uma de cada baralho. Então, a) H 2 = 1 2 H 1. b) H 2 = 2 H 1. c) nenhuma das resposta anteriores. 2. Considere ainda dois baralhos de cartas convencionais (52 cartas) distinguíveis (por exemplo, com o verso da carta em cores diferentes). Seja X a variável aleatória obtida do seguinte modo: primeiro, escolhe-se um dos dois baralhos, atirando ao ar uma moeda equilibrada; do baralho escolhido, extrai-se uma carta de modo aleatório. Sendo H(X) a entropia de X, tem-se que a) H(X) = 1 + log 2 52 bits/carta. b) H(X) = 2 log 2 52 bits/carta. c) nenhuma das resposta anteriores. 3. Sejam X, Y {1, 2,..., 6} duas variáveis representando o resultado do lançamento de dois dados equilibrados independentes e U = X Y o valor absoluto da sua diferença; então, a) H(U) < 1 + log 2 3 bits/símbolo; b) H(U) = 1 + log 2 3 bits/símbolo; c) H(U) > 1 + log 2 3 bits/símbolo.. Considere as variáveis aleatórias X, Y e U definidas na questão anterior e uma outra variável Z = X Y. Então, a) I(U, Z) = H(U); b) I(U, Z) = H(Z); c) nenhuma das resposta anteriores. 5. Considere as variáveis aleatórias X, Y e U definidas na questão 3 e uma variável T = X + Y ; então, a) H(U, T ) < H(X, Y ); b) H(U, T ) = H(X, Y ); c) H(U, T ) > H(X, Y ). 1

2 6. Considere uma fonte sem memória que gera símbolos do alfabeto X = {1, 2, 3,, 5} com probabilidades p 1 = 0.23, p 2 = 0.2, p 3 = 0.26, p = 0.27 e p 5 = 0. O comprimento médio do código binário óptimo para esta fonte é a) < 2 bits/símbolo; b) = 2 bits/símbolo; c) > 2 bits/símbolo. 7. Considere uma fonte X gerando símbolos de um alfabeto com N símbolos, com distribuição de probabilidades uniforme (todos os símbolos com probabilidade 1/N). Pode então afirmar-se que, necessariamente, a) o comprimento médio do código binário óptimo é igual log 2 N; b) o código binário óptimo tem todas as palavras com o mesmo comprimento; c) um código binário óptimo pode não ser um código de Huffman. 8. Considere uma fonte sem memória com alfabeto X = {1, 2, 3} e distribuição de probabilidades p 1 = 1/2, p 2 = 1/ e p 3 = 1/. O comprimento médio do código ternário óptimo para a extensão de segunda ordem desta fonte é a) < 1 trit/símbolo; b) = 1 trit/símbolo; c) > 1 trit/símbolo. 9. Considere uma fonte Markoviana, de primeira ordem, com alfabeto X = {1, 2, 3} e a seguinte matriz de transição: 0 1/2 1/2 P = 3/ 0 1/. 1/3 1/3 1/3 A distribuição estacionária desta fonte é p = [1/1, 12/1, 15/1] T. O comprimento médio do esquema de codificação binária óptimo é a) < /5 bit/símbolo; b) = /5 bit/símbolo; c) > /5 bit/símbolo. 10. Considere uma fonte X {1, 2, 3,..., N}, com distribuição de probabilidades uniforme: p 1 = p 2 =... = p N = 1/N, com N 3. Para esta fonte, o número de códigos binários óptimos a) é necessariamenge igual a N!; b) é necessariamenge menor que N!; c) pode ser maior que N!. 11. Considere a fonte definida na questão anterior; o terceiro bit da palavra de código aritmético binário para a sequência de símbolos a) é necessariamente 0; b) é necessariamente 1; c) depende dos símbolos que se seguem. 12. Qual das seguintes sequências corresponde à codificação Lempel-Ziv-Welch (LZW) da sequência ah ah ah ah ah do alfabeto {espaço, a, b, c, d, e, f, g, h}, assumindo que os índices do dicionário começam em 1? a) 2,9,1,10,12,11,13,10; b) 2,9,1,10,12,11,13,11; c) 2,9,1,10,12,11,13,12. 2

3 13. Considerando o mesmo alfabeto da questão anterior (e os índices do dicionário a começar em 1), qual das seguintes sequências não é descodificável por um descodificador LZW? a) 2,1,2,2,,13,13; b) 2,1,2,2,,1,13; c) 2,1,2,2,,15, Considere a variável aleatória X [0, 1] com função densidade de probabilidade f X (x) e uma outra variável real Y [0, 1], função da primeira: Y = g(x), onde g : [0, 1] [0, 1], é uma função injectiva. Então, verifica-se necessariamente que a) h(y ) = h(x); b) h(y ) h(x); c) nenhuma das respostas anteriores. 15. Considere a variável aleatória X [ 1, 1] com função densidade de probabilidade dada por f X (x) = 1/3, para x [ 1, 0] e f X (x) = 2/3, para x [1, 0]. Então, a) h(x) = log ; b) h(x) = 1; c) h(x) = log Considere uma fonte X [0, π], com função densidade de probabilidade f X (x) = ( 1 2 ) sin(x), ligada a um quantizador uniforme de 3 bits. O representante óptimo de cada uma das regiões a) localiza-se sempre à direita do centro da região; b) localiza-se sempre à esquerda do centro da região; c) nenhuma das respostas anteriores. 17. Considere uma fonte Z [ π, π], com função densidade de probabilidade f Z (z) = ( 1 ) sin(z) e um quantizador de 1 bit com as duas seguintes regiões: R 0 = [ π, 0] e R 1 = [0, π]. O representante óptimo da região R 1 é a) y 1 < π 2 ; b) y 1 = π 2 ; c) y 1 > π Considere uma fonte Y [ π, π], com função densidade de probabilidade uniforme, e um quantizador uniforme de bits. O erro quadrático médio de quantização é a) < π2 102 ; b) = π2 102 ; c) > π Considere ainda a fonte da pergunta 16, agora ligada a quantizador de 1 bit, cujos representantes são y 0 = π 3 e y 1 = π 2. Naturalmente, as regiões têm a forma R 0 = [0, a] e R 1 =]a, π]. O valor óptimo de a (isto é, aquele que conduz ao menor erro quadrático médio de quantização) é a) < π 2 ; b) = π 2 ; c) > π Considere uma fonte T [0, 2] com função densidade de probabilidade f T (t) = t/2, ligada a um quantizador uniforme de 1 bit (duas regiões de igual dimensão). A entropia da saída deste quantizador é igual a a) 1 bit/símbolo; b) 2 2 log bits/símbolo; c) 2 3 log 2 3 bits/símbolo. 3

4 Parte II Problema 1 Considere uma fonte discreta sem memória X que gera símbolos do alfabeto {1, 2, 3, }, com probabilidades onde ε [ 1/9, 1/9]. x P (X = x) 1/3 1/3 2/9 + ε 1/9 ε 1. Considere ε = 0 e determine a entropia da fonte em base 3, isto é, expressa em trits/símbolo (apresente uma expressão exacta, não um valor numérico aproximado). 2. Considerando agora ε = 1/18, determine um código ternário óptimo para esta fonte. 3. Considerando ainda ε = 1/18, quantos códigos ternários óptimos existem para esta fonte?. Considere agora o seguinte código binário: {C(1) = 00, C(2) = 010, C(3) = 1, C() = 011}. Para que valores de ε no intervalo indicado acima este código é óptimo? 5. Considere agora ε = 1/9; desenhe um código binário óptimo para a extensão de segunda ordem da fonte e determine o correspondente comprimento médio. Problema 2 Considere uma fonte markoviana de primeira ordem, X = (X 1, X 2,..., X t,...) com alfabeto {1, 2, 3, }, definida pela matriz de transição dada e cuja distribuição estacionária é a indicada: 1/2 1/ /6 P = 1/2 1/ 1/ 0 1/2 1/ 1/8 1/8, p( ) = 2/6 7/6 1/2 1/ 1/8 1/8 1/6 1. Apresente um esquema de codificação binário óptimo para esta fonte e determine o comprimento médio resultante. 2. Apresente um esquema de codificação ternário óptimo para esta fonte e determine o comprimento médio resultante. 3. Apresente um esquema de codificação quaternário óptimo para esta fonte e determine o comprimento médio resultante.. Note que cada símbolo quaternário pode ser representado por 2 bits. Usando uma representação binária para as palavras de código quaternário obtidas na alínea anterior, calcule o comprimento médio resultante (em bits/símbolo) e compare com o resultado da alínea 1. Problema 3 Considere uma variável aleatória real X, com função densidade de probabilidade { 1 f X (x) = sin( x ) x [ π, π] 0 x [ π, π] 1. Para um quantizador uniforme de 1 bit, isto é, com 2 regiões de igual dimensão, determine os correspondentes representantes óptimos. 2. Para um quantizador uniforme de 2 bits, isto é, com regiões de igual dimensão, determine os correspondentes representantes óptimos. (Nota 1: a primitiva da função x sin x é conhecida: P [x sin x] = sin x x cos x. Nota 2: tire partido das várias simetrias do problema.)

5 3. Repita a alínea 1, considerando agora que a função densidade de probabilidade de X é { 3 f X (x) = ( x 1)2 x [ 2, 2] 0 x [ 2, 2]. Determine o valor exacto do erro quadrático médio do quantizador obtido na alínea anterior. 5. Determine a aproximação de alta resolução do erro quadrático médio do quantizador obtido na alínea 3; compare com o valor exacto e justifique brevemente a diferença. 5

6 6