Canais discretos sem memória e capacidade do canal

Transcrição

1 Canais discretos sem memória e capacidade do canal Luis Henrique Assumpção Lolis 17 de outubro de 2013 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 1

2 Conteúdo 1 Canais discretos sem memória 2 Informação mútua 3 Capacidade do canal Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 2

3 Sumário 1 Canais discretos sem memória 2 Informação mútua 3 Capacidade do canal Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 3

4 Canais discretos sem memória Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 4

5 Canais discretos sem memória Com interesse de entender a transmissão da informação, nós introduzimos a noção matemática do meio de transmissão, ou canal. Consideramos a entrada X e a saída Y, ambas variáveis aleatórias. O sistema é discreto pois X e Y contem um número finito de mensagens, ou palavras código. O sistema é sem memória pois a saída não depende da saída anterior tal qual a sequência de entrada é estatisticamente independente. X {x 0,..., x 1,..., x J 1 } Y{y 0,..., y 1,..., y K 1 } E todas as probabilidades de transição: Probabilidade condicional: p(y k x j ) = P (Y = y k X = x j ) Para todo j k 0 p(y k x j ) 1 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 5

6 A matriz canal, ou matriz de transições, é a matriz contendo todas as probabilidades condicionais de X e Y. Mesma entrada, diferentes saídas Mesma saída, diferentes entradas Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 6

7 Como visto na parte de probabilidade: Probabilidade conjunta p(y k, x j ) = p(y k x j )p(x j ) Probabilidade marginal J 1 p(y k ) = p(y k x j )p(x j ) para k = 0, 1,..., K 1 j=0 Canal simétrico binário Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 7

8 Sumário 1 Canais discretos sem memória 2 Informação mútua 3 Capacidade do canal Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 8

9 Informação mútua A quantidade de informação condicional (ou entropia condicional). Como saber a entropia da entrada H(X ), quando se observa a entropia da saída: J 1 [ ] 1 H(X Y = y k ) = p(x j y k ) log 2 para cada k p(x j y k ) j=0 Essas quantidade é também uma variável aleatória considerando a probabilidade y k. A média de H(X Y = y k ) através do alfabeto Y é dada por: K 1 H(X Y) = p(x j y k )H(X Y = y k )p(y k ) = K k k=0 J [ ] 1 p(x j y k )p(y k ) log 2 = p(x j j y k ) K J [ ] 1 p(x j, y k ) log 2 p(x j y k ) k j Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 9

10 Essa quantidade representa a quantidade de incerteza sobre a entrada uma vez que a saída foi observada. Sendo H(X ) a entropia da entrada, e H(X Y) a entropia depois de observar a saída. A quantidade H(X ) H(X Y) é a quantidade de incerteza que é resolvível pelo canal. Essa quantidade é chamada de informação mútua. Nota intuitiva: O que significa H(X ) H(X Y) = 0? O que significa H(X Y) = 0? Notação da informação mútua: I(X ; Y) = H(X ) H(X Y) I(Y; X ) = H(Y) H(Y X ) Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 10

11 Propriedades (A) A informação mútua é simétrica (prova matemática no livro do Haykin baseado no teorema de Bayes) (B) A informação mútua é sempre não negativa. Significa que não se perde informação na média observando a saída do canal. (C) Aplicando a propriedade estatística que liga a probabilidade conjunta e a probabilidade condicional a informação mútua pode ser escrita da seguinte forma: I(X ; Y) = H(X ) + H(Y) H(X, Y) = 0 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 11

12 Sumário 1 Canais discretos sem memória 2 Informação mútua 3 Capacidade do canal Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 12

13 Capacidade do canal A capacidade do canal é a maior informação mutua que se pode receber para um determinado uso do canal. O canal, contento ruído é que cria incerteza em X dado que se conhece Y, alterando H(X Y). K 1 J 1 I(X ; Y) = k=0 j=0 p(x j, y k ) log 2 [ p(xj, y k ) p(x j )p(y k ) ] = I(Y; X ) Podendo ser traduzida do ponto de vista do canal H(Y X) ou do inverso do canal H(X Y ). K 1 J 1 [ ] p(xj y k ) I(X ; Y) = p(x j, y k ) log 2 p(x k=0 j=0 j ) K 1 J 1 [ ] p(yk x j ) I(X ; Y) = p(x j, y k ) log 2 p(y k ) k=0 j=0 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 13

14 Capacidade do canal Como I(X ; Y) depende não só do canal (p(y k x j )) mas também da probabilidade da fonte p(x j ) a ideia é definir p(x j ) que maximiza o valor de I(X ; Y) A capacidade C é definida como: C = maxi(x ; Y) p(x j ) Otimizar C significa calcular para cada uma das J variáveis p(x j ) que leva I(X ; Y) máximo. C = max = max I(X ; Y) = max {H(Y) H(Y X )} = p(x) p(x) p(x) {H(X ) H(X Y)} max p(x) Para o canal ideal: H(X Y) = H(Y X ) = 0 C = maxh(x ) log m p(x) Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 14

15 Tipos de Canais Canal sem perdas: H(X Y ) = 0 Canal determinístico: p(y k x j ) = 0 ou 1 para todo j, k Canal sem ruído: sem perdas e determinístico: p(y k x j ) = 1 para j = k Canal inútil: I(X Y ) = 0 Canal simétrico: O número de saídas possíveis é o mesmo para todas as entradas e as probabilidades de inversões está igualmente distribuída. Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 15

16 Calculando a Capacidade do Canal 1 a. definição: Canal Simétrico Em um canal simétrico H(Y X) não depende da distribuição de x j Então maximizar I(X Y ) = H(Y ) H(Y X), significa maximizar H(Y ), sendo assim, se X é uniforme, isso gera um Y uniforme que maximiza H(Y ) Assim a capacidade do canal simétrico fica: ( ) M C sym = log M p k log p k k=1 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 16

17 Exemplo do canal simétrico binário C = I(X ; Y) p(x0 )=p(x 1 )=0,5 p(y 0 x 1 ) = p(y 1 x 0 ) = p p(y 0 x 0 ) = p(y 1 x 1 ) = 1 p I(X ; Y) = 1 1 [ ] p(yk x j ) p(x j, y k ) log 2 p(y k ) k=0 j=0 p(x 0 ) = p(x 1 ) = 0, 5 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 17

18 [ p(y0 x 0 ) I(X ; Y) = p(x 0, y 0 ) log 2 [ p(y 0 ) p(y0 x 1 ) p(x 1, y 0 ) log 2 p(y 0 ) ] [ p(y1 x 0 ) + p(x 0, y 1 ) log 2 p(y] 1 ) ] + p(x 1, y 1 ) log 2 [ p(y1 x 1 ) p(y 1 ) p(y 0 ) = p(y 0 x 0 )p(x 0 ) + p(y 0 x 1 )p(x 1 ) = (1 p) (p)1 2 = 1 2 ] + p(y 1 ) = p(y 1 x 0 )p(x 0 ) + p(y 1 x 1 )p(x 1 ) = (1 p) (p)1 2 = 1 2 p(x 0, y 0 ) = p(y 0 x 0 )p(x 0 ) = 1 (1 p) 2 p(x 0, y 1 ) = p(y 1 x 0 )p(x 0 ) = 1 2 (p) p(x 1, y 0 ) = p(y 0 x 1 )p(x 1 ) = 1 2 (p) p(x 1, y 1 ) = p(y 1 x 1 )p(x 1 ) = 1 (1 p) 2 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 18

19 I(X ; Y) = 1 2 (1 p) log 2 [2(1 p)] (p) log 2 [2(p)] (p) log 2 [2(p)] (1 p) log 2 [2(1 p)] C = 1 + p log 2 [p] + (1 p) log 2 [1 p] Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 19

20 C = 1 + p log 2 [p] + (1 p) log 2 [1 p] Comparando com a equação da entropia do código binário C = 1 H(P ) Quando a probabilidade de inversão dos símbolos é de 0% ou de 100%, a capacidade é máxima, e igual a entropia da fonte, ou seja, 1 bit. Quando a probabilidade de inversão é de 50%, a capacidade é zero. Em outras palavras, não tem certeza de nada daquilo que foi enviado, o canal é inútil. C p Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 20