universidade federal de pernambuco departamento de estatística

Tamanho: px

Começar a partir da página:

Download "universidade federal de pernambuco departamento de estatística"

Alice Aranha Damásio
6 Há anos
Visualizações:

1 soluções do o exercício escolar Teoria da Informação set./207 a) Qual a variável aleatória de maior incerteza? Surpreendentemente, há uma maior incerteza sobre a variável aleatória X, é definida apenas sobre os primeiros 8 inteiros, do sobre Y, pode ser qualr número inteiro positivo (parece sugerir, em exame superficial, uma maior complexidade, uma maior desordem). A distribuição de probabilidade uniforme sobre as oito possibilidades para X significa ela possui entropia H(X) = log 2 8 = 3 Shannons. Mas a distribuição de probabilidade para Y decai muito rapidamente e tem entropia dada por H(Y ) = lim N N k= Assim, tem-se uma soma: H(Y ) = 2 k. log 2 (2 k ). k( 2 )k. k= Poderia se usar a série correspondendo à soma dos termos de uma PG de primeiro termo r e de razão r: k= rk = r r, depois derivando com relação a r, concluir k= krk = r. No final, assumir r = /2 para avaliar as séries. ( r) 2 (alternativamente- Wolframalpha): {sum from k= to \infty k*(0.5)^k}, converge para apenas 2 Shannons. Conclusão: X tem maior incerteza Y. b) Uma vez as variáveis aleatórias X e Y são independentes, sua entropia conjunta H(X, Y ) é H(X) + H(Y ) = 5 Sh, e sua informação mútua é I(X; Y ) = 0 Sh (variáveis independentes: não proporcionam informação uma sobre a outra). 2 (Richard Hamming strik again) a) A informação associada ao evento retirar uma dama de espadas é dada por I(P ( Q)), sendo P ( Q) = /52. Então tem-se I( Q) = log Sh. Sair na primeira jogada, uma dama de espadas é um evento com informação (surpresa) idêntica a colher 6 lançamentos consecutivos Ca para uma moeda... 3 Inclui-se b) SejaP := P ( Q, uma carta é retirada, não lida). Há somente duas possibilidades excludentes para a carta retirada: {carta era Q} XOR {a carta não era Q}. Pela lei das probabilidades totais, podemos escrever: P = P ( Q, carta retirada foi Q) +P ( Q, carta retirada foi ( Q) c ). Então P = Finalmente, vê-se = 52. I( Q, carta é retirada, não lida) 5.7 Sh. Ter, porém não usar uma informação é equi- alente a não possuir nenhuma informação! A incerteza é a mesma nos itens a e b. Note a carta retirada e não lida tem a superposição dos dois estados (mesma ideia da mecânica quântica): Ela é dama e não é dama como o gato de Schrödinger... na tabela apenas as sencias de três ou menos pixels pretos (sencias típicas). a) AEP (propriedade de equipartição assintótica) e codificação de fontes. Para avaliar o número de palavras-código necessárias: O número de sequências binárias de 00 bits com três ou menos uns é ( ) ( ) ( ) ( ) = = /5

2 soluções do o exercício escolar Teoria da Informação set./207 b) Quantos bits? O comprimento rerido para as palavras-chave (fixo) é log = 8, advindo de: Deve ser escolhido m tal 2 m Comparando ao mínimo teórico: Note H 2 (0.005) = 0, 0454, estimando, portanto, o gasto de pelo menos 4,5 bits para a sencia codificada. Então o processo de codificação gasta 8 bits, o ainda é muito maior do a entropia é 4,5 bits! Ainda distante do codificador ótimo... c) Como opções para melhorar o desempenho, do ponto de vista teórico, poder-se-ia fazer a codificação com sencias ainda maiores, pois no limite, o teorema da codificação de fontes com palavras de comprimento fixo estabelece praticamente se atinge a entropia. Mas como solução prática, valeria melhor usar um codificador com palavras de comprimento variável. Outra boa, simples e prática sugestão seria uso de RLE (codificação por comprimento de corrida), pois os símbolos são bastante desbalanceados. d) Para calcular a probabilidade de erro, i.e., de se encontrar uma sequência atípica neste esma de codificação, consideremos uma distribuição binomial: A probabilidade de uma sequência de 00 bits ter três ou menos é (sencia típica): 3 ( ) 00 (0.005) i (0.995) 00 i i i=0 = = e a probabilidade de se encontrar uma sencia atípica é o complemento: = , bastante pena, como esperado. Bem mais simples o cálculo via: {X~Binomial(00,0.005), P(X>3)}. 4 a) xx, xz, y, zz, xyz, código de alfabeto ternário, comprimentos 2, 2,, 2, = 9 27 < instantâneo: sim. univocamente decodificável: condição de livre de prefixos. sim, satisfaz a b) 000, 0, 00, comprimentos 3, 2, 2, = 7 8 < instantâneo: não. por exemplo, 00 é prefixo de 000. univocamente decodificável: não. Por exemplo, pode ser interpretada como 00,00,00 ou então como 000,000. c) 00, 0, 0, comprimentos 3, 3,, = 8 8 = instantâneo: sim. univocamente decodificável: sim, pelo item anterior. d) 0, 00, 0, 00,, 00, 0, 0 comprimentos 2, 3, 3, 2, 3, 4, 4, 4 desigualdade de Kraft-MacMillan: não. Veja = 7 6 > 2/5

soluções do o exercício escolar Teoria da Informação set./207 5 Dados: instantâneo: não. Observe 0 é prefixo da palavra-código 0 univocamente decodificável: não.

0 é prefixo de 0 e de 00 univocamente decodificável: sim. alfabeto da fonte {A, B, C} e P (A) = 3/4, P (B) = 3/6 e P (C) = /6.

Nada mal para uma codificação tão simples... Supondo, por simplificação, os símbolos ternários fossem codificados com 2 bits (A = 00, B = 0, C = 0), a taxa de compactação seria de.

3 soluções do o exercício escolar Teoria da Informação set./207 5 Dados: instantâneo: não. Observe 0 é prefixo da palavra-código 0 univocamente decodificável: não. Exemplo: 000 poderia resultar em 0,00 ou em 0,00. e) 0,, 0, 00, 00, 0 comprimentos 2, 3, 3, 2, 3, = instantâneo: não. 0 é prefixo de 0 e de 00 univocamente decodificável: sim. alfabeto da fonte {A, B, C} e P (A) = 3/4, P (B) = 3/6 e P (C) = /6. a) código de Huffman binário: montando o código com palavras de comprimento variável, tem-se A =, B = 0, C = 00. A entropia da η = H(U)/ n =.02/.25, i.e., 8%. Nada mal para uma codificação tão simples... Supondo, por simplificação, os símbolos ternários fossem codificados com 2 bits (A = 00, B = 0, C = 0), a taxa de compactação seria de.25/2 (gasta-se,25 bits com código ao invés de 2 bits, para cada símbolo da fonte codificado). Assim, economiza-se cerca de 62.5% na armazenagem. b) Para construir o novo código, consideramos uma extensão de 2 a ordem da fonte (digramas). A nova estatística da fonte é mostrada na tabela. Figura 2: Distribuição dos símbolos fonte estendida. Aplicando o algoritmo de Huffman, obtém-se o código (3 a coluna da Figura 2). Figura : código de Huffman para a fonte ternária. fonte é H(U) = 3/4 log 2 3/4 3/6 log 2 3/6 /6 log 2 /6 =.02 Sh/símbolo. Calculamos inicialmente o comprimento médio das palavras-código: n = =.25 bits 6 Gasta-se, em média,.25 bits/símbolo na codificação. A eficiência do codificador é Figura 3: código de Huffman para a extensão da fonte. O comprimento médio das palavras código agora vale: n = bits. 3/5

4 soluções do o exercício escolar Teoria da Informação set./207 Calculando por símbolo da fonte (o codificação é sobre dois símbolos):.043 bits/símbolo da fonte. As comparações são as seguintes: a ordem:.25 bits/símb; 2 a ordem:.043 bits/símb; entropia:.02 bits/símb. Veja a codificação com extensão de 2 a ordem praticamente atinge o ótimo. A eficiência do segundo código (Fig.3) é de η = H(U)/ n =.02/.043, i.e. 97%. Naturalmente, quanto maior a ordem da extensão, mais eficiente, tendendo rapidamente a 00%. 6 mini-arquivo a) Montando o arquivo zip (codificação LZ78). subsencias armazenadas: 0, Dados a analisar subsencia nova mais breve: 00 subsencias armazenadas: 0,, 00 dados a analisar subsencia nova mais breve: 000 subsencias armazenadas: 0,, 00, 000 dados a analisar subsencia nova mais breve: 0 subsencias armazenadas: 0,, 00, 000, 0 dados a analisar subsencia nova mais breve: 0 subsencias armazenadas: 0,, 00, 000, 0, 0 dados a analisar subsencia nova mais breve: 0 subsencias armazenadas: 0,, 00, 000, 0, 0, 0 dados a analisar subsencia nova mais breve: 0000 subsencias armazenadas: 0,, 00, 000, 0, 0, 0, 0000 dados a analisar subsencia nova mais breve: 0 subsencias armazenadas: 0,, 00, 000, 0, 0, 0, 0000, 0 Dados a analisar subsencia nova mais breve: 00 subseq. armazenadas: 0,, 00, 000, 0, 0, 0, 0000, 0, 00 dados a analisar... Construímos então a tabela Zip: Tabela : Tabela compressão zip para o miniarquivo. endereço dicionário repr. numér blocos codif b) Um dado relevante foi fornecido: supõe-se conhecido a estatística dos zeros, p = 0.8, nesta fonte (NB. os dados apresentados aparentemente não são tão compatíveis, mas...). Para projetar o RLE, precisa-se definir o tamanho do pacote: codificar pacot de tamanho κ. Como n = κ p 2κ = κ 0.8 2κ, otimiza-se o tamanho do pacote usando o Wolframalpha: {\kappa/(-0.8^{2^{\kappa} -}), from \kappa=, Resultados são: A tabela fornecida nas notas de aula (ou livro) poderia ser consultada, chegando-se sempre a pacotes de tamanho 3 bits. Os parâmetros da codificação estão compilados na tabela : Tabela 2: Parâmetros da codificação RLE. p κ n l η % Então 2 κ = 7. A sencia de dados é: 4/5

soluções do o exercício escolar Teoria da Informação set./207 Figura 4: otimização do tamanho do pacote da codificação RLE (run lenght). Tabela 3: RLE, pacotes de tamanho 3 bits. comp.

5 soluções do o exercício escolar Teoria da Informação set./207 Figura 4: otimização do tamanho do pacote da codificação RLE (run lenght). Tabela 3: RLE, pacotes de tamanho 3 bits. comp. carreira de zeros n. dígitos codificados 0 l 6 3 bits xxx 7 l 3 6 bits xxx 4 l 20 9 bits xxx total de 23 bits, com as seguintes carreiras de zeros: run length Obtém-se finalmente o seguinte arquivo de saída codificada (parse=3): Veja neste toy example as carreiras foram muito curtas e não houve necessidade de se utilizar a sencia de escape (teriam aparecer comprimentos de carreira superiores a 6 zeros). 5/5

Documentos relacionados

Algoritmos de Compressão sem Perdas

Algoritmos de Compressão sem Perdas (continuação) Aula 08 Diogo Pinheiro Fernandes Pedrosa Universidade Federal Rural do Semiárido Departamento de Ciências Exatas e Naturais Curso de Ciência da Computação