TEORIA DE INFORMAÇÃO UM NANOCURSO

Transcrição

1 TEORIA DE INFORMAÇÃO UM NANOCURSO Max H. M. Costa Unicamp Set Centenário de Shannon - SBrT - Santarém

2 Dedicação: a memória de Claude Shannon Claude Shannon matemático, engenheiro eletrônico, inventor da Teoria de Informação

3 Sumário o o o o o o o Introdução Teoria de Informação - Interdisciplinaridade Entropia, Divergência de K-L, Informação Mútua Compressão de dados Transmissão por Canais Ruidosos (Codificação de Canal) Entropia Diferencial, Canais Gaussianos Aplicações de Múltiplos Usuários Fechamento

4 Algumas referências: [1] T. Cover and J. Thomas, Elements of Information Theory, Wiley, 2nd ed., 2006 (1991). [2] R. Ash, Information Theory, Dover, [3] R. Gallager, Information Theory and Reliable Communication, Wiley, [4] A. El Gamal and Y-H. Kim, Network Information Theory, Cambridge, 2011.

5 Teoria de Informação e Áreas Afins A paisagem em torno de TI: Teoria de Comunicações Física Probabilidade Ciência de Computação TI Estatística Biologia Matemática Economia

6 Entropia Definição: H(X) = A Entropia de X Seja X uma variável aleatória discreta com valores em {x 1, x 2,..., x M } com probabilidades p = {p 1, p 2,..., p M }. M 1 H(X) = H(p) = k=1 p x k log 2 (bits) = = E ( log 2 1 p(x) ) bits p(x k ) H(X) é uma medida da incerteza de X.

7 Mudança de base H b (X)= E ( log b 1 p(x) ) = log ba H a (X) Unidades de Entropia: Base 2 bits Base 10 dits ou Hartleys Base e nats Base 3 trits (porque não?)

8 Exemplos Ex. 1) X {0,1}, p(x=0)=0, p(x=1)=1 H(X) = - 0 log 0-1 log 1 = 0 Note: lim p log p = 0 P0 por l Hôpital Nenhuma incerteza! X é determinística

9 Exemplos (continuação) Ex. 2) X {0,1}, p(x=0)=p, p(x=1) =1-p, h(p) H(X) = p log p (1-p) log (1-p) = h(p) p h(p) é a função binária de entropia

10 Lema ln x x-1, x>0 Prova: Série de Taylor com resto x-1 ln x 0 1 x

11 Divergência de Kulbach-Leibler Sejam p(x) e q(x) duas funções de massa de probabilidade definidas no alfabeto X. A divergência de Kullbach-Leibler de p em relação a q é dada por D(p q) = p x log p(x) q(x) X

12 Proposição: Desigualdade da Informação D(p q) 0 com igualdade se e somente se (sse) pq Prova: Seja A = {x : p(x) > 0} Use ln x x-1 (Lema)

13 Observação A divergência de K-L é muito útil em T I, mas não é uma métrica. Ela não é simétrica e não satisfaz a desigualdade do triângulo.

14 Aplicação Seja q a distribuição uniforme q i = 1/n for i=1,...,n p = {p 1, p 2,..., p n } Então D(p q) 0 p i log p i q i 0 p i log p i p i log q i = p i log 1/n Portanto H(p) log n A distribuição uniforme tem máxima entropia.

15 Distribuições conjunta, marginais e condicionais Distribuição conjunta: Y X y 1 y 2 x 1 x 2... p(x i,y j ) x M p(y j ) p(y 1 ) Distribuições marginais p(xi) = y j p x i, yj y N p(x i ) p(x 1 )... p(x M ) p(y N ) p(y j ) = x i p x i, yj

16 Distribuições Condicionais: p y j x i = p(xi,yj) p(xi) p x i y j = p(xi,yj) p(y j ) A distribuição conjunta determina as distribuições marginais e condicionais. Note: As marginais não determinam a distribuição conjunta.

17 Entropia Conjunta H(X,Y) = H(p(.,. )) = x i, yj p x i, yj log 1 p(x i,yj)

18 Entropias Condicionais H(X Y) = p x i, yj log 1 p(x i y j ) = - E (log p(x Y) ) H(Y X) = p y j, x i log 1 p(y j x i ) = - E (log p(y X) )

19 Regra da Cadeia (como descascar cebola) H(X,Y) = H(X) + H(Y X) = H(Y) + H(X Y) Prova: Sugestão para casa. Simples manipulação algébrica. Corolário (forma condicional): H(X,Y Z) = H(X Z) + H(Y X,Z) = H(Y Z) + H(X Y,Z)

20 Informação Mútua A Informação Mútua entre X e Y é a divergência de K-L entre a distribuição conjunta p(x,y) e o produto das marginais p(x) p(y). I(X;Y) = D(p(x,y) p(x) p(y) ) = p x, y log p(x,y) X Y p x p(y)

21 Propriedades de I(X;Y) 1) Não-negatividade: I(X;Y) 0, com igualdade sse X and Y forem independentes. Prova: I(X;Y) é uma divergência de K-L. 2) Simetria: I(X;Y) = I(Y;X) Prova: Trivial (p(x)p(y) = p(y)p(x))

22 Informação Mútua e Entropia I(X;Y) = p x, y log p(x,y) p x p(y) = H(X) + H(Y) H(X,Y) (simplificando) = H(X) H(X Y) = H(Y) H(Y X) (regra da cadeia) (forma alternativa) Note: A Informação mútua entre duas variáveis aleatórias é a incerteza residual sobre uma variável quando a outra é revelada.

23 Informação Mútua A informação mútua entre X e Y é a diferença entre as entropias de X antes e depois de conhecer Y: I(X;Y) = H(X) H(X Y) Também I(X;Y) = H(Y) H(Y X)

24 Diagrama de Venn H(X) H(Y) H(X Y) I(X;Y) H(Y X)

25 Informação não atrapalha Condicionamento não aumenta entropia: H(X Y) H(X) Prova: I(X;Y) = H(X) H(X Y) 0 Na média o conhecimento de Y não pode aumentar a incerteza sobre X.

26 Passando informação adiante: Sejam X e Y variáveis aleatórias dependentes X Mecanismo aleatório Y ( ) (Y) Proposição: I(X;Y) I(X; (Y)) Prova: I(X;Y) = H(X) H(X Y) = H(X) H(X Y, (Y)) H(X) H(X (Y)) = I(X; (Y)) Condicionamento reduz entropia Desigualdade de Processamento de dados.

27 Propriedade da Equipartição Assintótica Sejam X 1, X 2,, X n i.i.d. segundo p(x) Espaço amostra = conjunto de todas sequências (x 1, x 2,, x n ) A = Conjunto de sequências típicas 1) Pr{A } 1- P.E.A é o DNA de T.I.! P.E.A. { 2) p(x) 2 nh(x) 3) A 2 nh(x)

28 Exemplo de sequências típicas Seja X uma moeda viciada com P(Cara)=0.9 e P(Coroa) = 0.1 Considere o conjunto de 1000 lançamentos da moeda. Sequências típicas são aquelas aproximente 900 Caras e 100 Coroas. Note: A sequência mais provável, qual seja a de 1000 Caras, não é típica!

29 Conclusão da P.E.A. : Melhor apostar em A!

30 Espaço da fonte Espaço da reprodução Compressão de dados (Codificação de fonte) Objetivo: representar a fonte eficientemente. Fonte X Codificador de fonte índice Decodificador de fonte X

31 Código eficiente: Código de Shannon Seja l i = log D 1 p i, Use uma palavra de código com este comprimento. Este código satisfaz H D (X) L H D (X) +1

32 Código eficiente: Huffmann (1952) O código de Huffman é o código ótimo de prefixo (menor comprimento esperado) para uma dada distribuição p(x). Exemplo: X p(x) Código Este código tem comprimento médio de 2.3 bits/símbolo.

33 Códigos eficientes: Outros códigos eficientes: Códigos Shannon-Fano-Elias Códigos Aritméticos Códigos de Lempel-Ziv (Universal aprende a distribuição da fonte) Códigos de corridas + códigos de Golomb (muito simples)

34 Transmissão por Canais Ruidosos O Problema da codificação de canal: W Codificador de Canal X Canal p(y x) Y Decodificador de Canal W W {1,2,,2 nr } = conjunto de mensagens (Taxa R) X = (x 1 x 2 x n ) = palavra-código de entrada no canal Y = (y 1 y 2 y n ) = palavra-código de saída do canal W= mensagem decodificada P(erro) = P{WW}

35 Exemplos Máquina de escrever sem ruído: 1 1 Entrada X Saída Y 4 4 Número de símbolos sem ruído = 4 Pode-se transmitir R = log 2 4 = 2 bits/transmissão

36 Exemplos simples Máquina de escrever ruidosa (tipo 1): Entrada X Saída Y Número de símbolos sem ruído = 2 Pode-se transmitir R = log 2 2 = 1 bit/transmissão

37 Exemplos simples Máquina de escrever ruidosa (tipo 2): Entrada X Saída Y Número de símbolos sem ruído = 2 Pode-se transmitir R = log 2 2 = 1 bit/transmissão

38 Exemplos simples Máquina de escrever ruidosa (tipo 3): Entrada X Saída Y Número de símbolos sem ruído = 2 Use só X=1 e X=3 Pode-se transmitir R = log 2 2 = 1 bit/transmissão

39 Exemplos simples Máquina de escrever mais complicada: Entrada X Saída Y Quantos símbolos livres de ruído? Claramente pelo menos 2, talvez mais.

40 Exemplos Considere dois usos consecutivos do canal: X 1 1 X Código: Que quadrados Escolher?

41 Exemplos simples Dois usos consecutivos do canal: X X Sejam os pontos {X 1,X 2 } = {(1,1), (2,3), (3,5), (4,2), (5,4)} 5

42 Relembrando o canal Máquina de escrever complicada: Entrada X Saída Y Quantos símbolos livres de ruído? Mais de 2?

43 Exemplos simples Olhando as saídas do canal: Y Y Sejam {X 1,X 2 } = {(1,1), (2,3), (3,5), (4,2), (5,4)} 4 5

44 Exemplo simples - observações Pode-se transmitir 5 símbolos livres de ruído em n=2 transmissões. Portanto tem-se taxa de log 25 com P(erro) = 0. 2 = 1.16 bits/transmissão Pode-se usar códigos mais longos (n) para obter log 2 (5/2) =1.32 bits/transmissão, a capacidade do canal.

45 Exemplos: Canal Binário Simétrico (BSC) Quantos símbolos livres de ruído? X Y A.: Claramente para n=1 não há nenhum. Que tal para n grande?

46 Exemplo: Canal Binário Simétrico (BSC) X Y C = max (H(Y) H(Y X)) = 1 h() bits/transmissão C() 1 Note: C=0 para = ½ 0 ½ 1

47 Segundo Teorema de Shannon Usa-se o canal n vezes: X n Y n

48 Segundo Teorema de Shannon A Capacidade de um canal discreto sem memória é C = max I(X; Y). p(x) Note: I X; Y é uma function de p x, y = p x p y x. Mas p y x é fixada pelo canal.

49 Segundo Teorema de Shannon Prova (esboço usando P.E.A.): X n Y n Y n 2 nh(y) bola típica 2 nh(y X)

50 Entropia Diferencial Seja X uma variável aleatória contínua com densidade de probabilidade f x e suporte S. A entropia diferencial de X é dada por h X = f x log f x dx S (se existir). Note: Também é denotada por h f.

51 Exemplos: Distribuição Uniforme Seja X uniforme no intervalo 0, a. Então f x = 1 a no interval e f x = 0 fora dele. a h X = 1 0 log a 1 a dx = log a Note que h X pode ser negativa (quando a < 1). No entanto, 2 h(f) = 2 log a = a é o tamanho do conjunto-suporte, que é não-negativo.

52 Exemplo: Distribuição Gaussiana Seja X ~ x = exp ( x2 2 2) Então h X = EX = h = x [ x2 2 2 ln ln 2 2 = 1 2 ln 2e2 nats 22 ] dx Mudando a base tem-se h X = 1 2 log 2 2e 2 bits

53 Relação entre Entropias Diferencial e Discreta Considere uma quantização de X, denotada por X Seja X = x i dentro do intervalo i. Então H(X ) = - i p i log p i = - i f(x i ) log f(x i ) - log h f log

54 Entropia diferencial de um vetor Gaussiano Teorema: Seja X um vetor Gaussiano n-dimensional com média e matriz covariância K. Então h X = 1 2 log ((2e)n K ) onde K denota o determinante de K. Prova: Manipulação algébrica.

55 O Canal Gaussiano O Problema do canal Gaussiano: W X Codificador Z~N (0, N I) + Restrição de potência: EX 2 P Y Decodificador W W {1,2,,2 nr } = conjunto de mensagens de taxa R X = (x 1 x 2 x n ) = entrada do canal Y = (y 1 y 2 y n ) = saída do canal W= mensagem decodificada P(erro) = P{WW}

56 O canal Gaussiano Capacidade C = max I(X; Y) f(x): EX 2 P I X; Y = h Y h Y X = h Y h X + Z X = h Y h Z 1 log 2e P + N 1 log 2eN 2 2 = 1 log 1 + P bits/transmissão 2 N

57 O Canal Gaussiano Capacidade: C = max I(X; Y) f(x): EX 2 P C = 1 2 log 1 + P N bits/transmissão

58 O Canal Gaussiano de Banda Limitada C = W log (1+ P N 0 W ) bits/segundo Note: Se W tem-se C = P N 0 log 2 e bits/segundo.

59 Canal Gaussiano de Banda W Seja R a eficiência espectral em bits por segundo W por Hertz. Também seja P = E b R onde E b é a energia disponível por bit de informação. Obtem-se R Portanto W C W = log (1+ E br N 0 W ) bits/segundo. E b 2 1 N 0 Esta relação define o chamado Limitante de Shannon.

60 O Limitante de Shannon E b 2 1 N 0 E b N 0 E b N 0 (db) Shannon Bound E b N 0 (db) 6

61 Solução de Water-Filling (Shannon)

62 Canais Gaussianos Paralelos

63 Exemplo de Water Filling Canais com níveis de ruído 2, 1 and 3. Potência disponível = 2 Capacidade= 1 2 log ( ) log ( ) log (1+0 3 ) Nível de ruído mais potência de sinal = 2.5 Nenhuma potência alocada para o terceiro canal.

64 Teoria de informação de múltiplos usuários Blocos constituintes: Canal de Múltiplo Acesso (MACs) Canais de Broadcast (BCs) Canais de Interferência (IFCs) Canais de Relay (RCs) Note: Estes canais têm versões discretas sem memória e versões Gaussianas. Por simplicidade vamos ver apenas as versões Gaussianas.

65 Canal de Múltiplo Acesso (MAC)

66 Canal de Broadcast Gaussiano

67 Codificação por Superposição (1-)P N 2 P P 1

68 Canal de interferência Gaussiano padrão W 1 Power P1 a ^ W 1 W 2 b ^ W 2 Power P2

69 Canal de interferência Gaussiano simétrico Power P Power P

70 Canal de Interferência em Z

71 Canal de Interferência: estratégias O que se pode fazer com interferência: 1. Ignorar (tomar a interferência como ruído, 2. Evitar (dividir o espaço de sinal (TDM/FDM)), 3. Parcialmente decodificar os dois sinais de interferência, 4. Parcialmente decodificar um e totalmente o outro, 5. Decodificar os dois sinais de interferência (a melhor opção para interferência forte, a 1).

72 Canal de Relay X Y 1 : X 1 O canal de relay é dito fisicamente degradado se p(y,y 1 x,x 1 )=p(y 1 x,x 1 ) p(y y 1,x 1 ). Portanto Y é uma versão degradada do sinal de relay Y 1. Teorema: C = sup min { I(X,X 1 ;Y 1 ), I(X;Y 1 X 1 )} p(x,x 1 ) Y

73 Codificação de Fonte de Slepian Wolf X,Y variáveis aleatórias correlatadas ~ p(x,y) X Y Cod. X Cod. Y j k Decodifi- cador DE conjunto ^ ^ X, Y Índices j e k com taxas R x and R y, resp.

74 Slepian Wolf (continuação) Ry H(Y) Região atingível H(Y X) H(X Y) H(X) Rx

75 Fechamento Muitas frentes de pesquisa: Codificação conjunta de fonte e canal Codificação para canais com informação lateral Codificação distribuída de fonte Estratégias de codificação para redes Casamento de Network Coding e T I de múltiplos usuários.

76 Obrigado!