Teoria de distorção da taxa

Tamanho: px

Começar a partir da página:

Download "Teoria de distorção da taxa"

Mônica Conceição
5 Há anos
Visualizações:

1 Teoria de distorção da taxa Luis Henrique Assumpção Lolis 11 de outubro de 2013 Luis Henrique Assumpção Lolis Teoria de distorção da taxa 1

2 Conteúdo 1 Função discreta de distorção da taxa 2 Propriedades da distorção da taxa Luis Henrique Assumpção Lolis Teoria de distorção da taxa 2

3 Sumário 1 Função discreta de distorção da taxa 2 Propriedades da distorção da taxa Luis Henrique Assumpção Lolis Teoria de distorção da taxa 3

4 Principais conceitos até agora: Que o tamanho médio da palavra código deve ser maior ou igual a entropia da fonte. Que é possível transmitir sem erro quando a entropia da fonte (quantidade de informação) é menor ou igual a capacidade do canal. Que um tipo de canal é assumido para adaptar a fonte a esse canal, de tal maneira que a capacidade do canal é a maior quantidade de informação transmitida. Luis Henrique Assumpção Lolis Teoria de distorção da taxa 4

5 O que se passa na realidade: A probabilidade de erro não é zero, sempre há distorção, não importa quão pequena. A fonte na maioria das vezes já é dada e a capacidade do canal é adaptada a fonte (utilização de uma dada banda passante). A distorção é portanto inevitável e às vezes introduzida de propósito, como no caso da compressão. Luis Henrique Assumpção Lolis Teoria de distorção da taxa 5

6 A compressão de dados: Os símbolos do alfabeto da fonte são transformados de tal maneira que a sequência de dados contém menos entropia que a fonte, ao custo de causar distorção. Um bom código é aquele que minimiza a informação mútua entre as palavras da fonte e do código. Luis Henrique Assumpção Lolis Teoria de distorção da taxa 6

7 A medida de distorção: Num sistema com distorção a média do tamanho da palavra código é menor que a entropia da fonte. A fonte Com probabilidade Entropia X : {x i i = 1, 2,..., M} {p i i = 1, 2,..., M} H O código Taxa média Y : {y i = 1, 2,..., N} R Sem distorção Com distorção R > H H > R Luis Henrique Assumpção Lolis Teoria de distorção da taxa 7

8 Probabilidade conjunta: p(x i, y j ) = p(y j x i )p(x i ) Probabilidade de transição: p(y j x i ) Custo de representar x i por y j : d(x i, y j ) distorção de uma única letra Para dois símbolos, i = 0, 1: d(x i, y j ) = 0 para i = j d(x i, y j ) = 1 para i j Luis Henrique Assumpção Lolis Teoria de distorção da taxa 8

9 Matriz distorção D = d(y 1, x 1 ) d(y 2, x 1 )... d(y J, x 1 ) d(y 1, x 2 ) d(y 2, x 2 )... d(y J, x 2 ).... d(y 1, x I ) d(y 2, x I )... d(y J, x I ) Luis Henrique Assumpção Lolis Teoria de distorção da taxa 9

10 Matriz transição Q = p(y 1 x 1 ) p(y 2 x 1 )... p(y J x 1 ) p(y 1 x 2 ) p(y 2 x 2 )... p(y J x 2 ).... p(y 1 x I ) p(y 2 x I )... p(y J x I ) Luis Henrique Assumpção Lolis Teoria de distorção da taxa 10

11 Distorção média: d = M N p(x i )p(y j x i )d(x i, y j ) i=1 j=1 Distorção máxima D admissível: P D = { p(y j x i ) : d D } Luis Henrique Assumpção Lolis Teoria de distorção da taxa 11

12 Exemplo Considere uma fonte X com dois símbolos equiprováveis. [ ] A matriz de distorção é dada por D = A máxima distorção média permissível é D = 0, 45 Vamos testar se as matrizes de transição a seguir respeitam a máxima distorção média permissível. Luis Henrique Assumpção Lolis Teoria de distorção da taxa 12

13 Função de distorção de taxa: Informação mútua: M N I(X ; Y) = p(x i )p(y j x i ) log i=1 j=1 ( ) p(yj x i ) p(y j ) Função de distorção de taxa: Menor taxa de codificação cuja distorção não ultrapassa D: N R(D) = min I(X ; Y) p(y j x i)ɛp D p(y j x i ) = 1 para i = 1, 2,..., M j=1 Luis Henrique Assumpção Lolis Teoria de distorção da taxa 13

14 Exemplo: continuação Testar se I(Q 2 ) Luis Henrique Assumpção Lolis Teoria de distorção da taxa 14

15 Sumário 1 Função discreta de distorção da taxa 2 Propriedades da distorção da taxa Luis Henrique Assumpção Lolis Teoria de distorção da taxa 15

16 0 R(D) H(X) (A distorção pode ser tão grande quanto a entropia da fonte) A menor distorção média é aplicando a menor distorção para a transição de maior probabilidade. p(y Fazer: j x i ) = 1 quando d(x i, y j ) = 0 0 fora R(0) = I(Q) = H(U) Luis Henrique Assumpção Lolis Teoria de distorção da taxa 16

Documentos relacionados

Canais discretos sem memória e capacidade do canal

Canais discretos sem memória e capacidade do canal Luis Henrique Assumpção Lolis 17 de outubro de 2013 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 1 Conteúdo 1 Canais