Dezembro 2012
Informação = Incerteza Seja (X, A, P) um espaço de probabilidade, A Aleatoriedade dum evento E A é igual à incerteza removida, ou informação ganha pelo conhecimento da sua realização, define-se por I(E) = log 1 = log P(E). P(E)
Teoria da Informação. Claude Shannon (1948) Considere um emissor transmitindo uma sequência de símbolos num alfabeto finito {1, 2,..., m} modelado por um processo estacionário, i.e., descrito por uma medida µ que seja σ-invariante no espaço de sequências B(m). A informação média transmitida por símbolo corresponde ao conceito ergódico de entropia do shift (σ : B(m), µ). Para o shift de Bernoulli B(p 1,..., p m ) esta informação média é H = m p i log p i. i=1
A Função h : [0, 1] R h(x) = { x log x se 0 < x 1 0 se x = 0 h (x) = 1 log x h (x) = 1/x < 0
A Função h : m 1 R No (m 1)-simplexo { } m m 1 = (p 1,..., p m ) : p i 0, p i = 1 i=1 define-se m h(p 1,..., p m ) = p i log p i. i=1,
Propriedades de h : m 1 R (1) A função h : m 1 R assume o seu valor máximo h(p 1,..., p m ) = log m quando p 1 = p 2 =... = p m = 1 m. (2) h : m 1 R é uma função estritamente côncava. t 1,..., t m > 0 tais que t 1 +... + t m = 1, x 1,..., x m m 1 h (t 1 x 1 +... + t m x m ) t 1 h(x 1 ) +... + t m h(x m ), com desigualdade é estrita a menos que x 1 = x 2 =... = x m.
Partições duma σ-álgebra Seja (X, A, µ) um espaço de probabilidade. Chama-se A-partição a um subconjunto não vazio P A tal que 1. C, C P, 2. X = C P C, 3. C = C ou C C =, C, C P. Designamos por Π(X, A) o conjunto de todas as A-partições, e definimos Π 0 (X, A) = { P Π(X, A) : P é finita }
Relação de Ordem nas Partições Sejam P, P, P 1, P 2,..., P n... Π(X, A). Dizemos que P refina P, e escrevemos P P, C P, C se puder escrever como uma união de conjuntos C P, C C. P P = { C C : C P, C P } é uma partição, que se diz gerada por P e P. n=0 P n = { n=0 C n : C n P n } é uma partição, que se diz gerada pelas partições P n. (Π(X, A), ) é um conjunto parcialmente ordenado. A operação acima corresponde ao supremo na ordem.
Entropia duma Partição Finita Seja (X, A, µ) um espaço de probabilidade. Dadas partições P, Q Π 0 (X, A) define-se a entropia de P H µ (P) = A P µ(a) log µ(a). Dado A A, sejam P A = { A B : B P } µ A (B) = µ(b A) = µ(a B)/µ(A). e A entropia condicional de P dada Q é definida por H µ (P Q) = µ(a) H µa (P A ), A Q = A Q,B P µ(a B) log µ(a B) µ(a).
A Entropia Condicional de P dada Q R P, Q, R Π 0 (X, A) partições finitas. H µ (P Q R) = A R µ(a) H µa (P A Q A ) Prova. H µ (P Q R) = = A R,B Q,C P A R,B Q,C P µ(a B C) log µ(a B C) µ(a B) µ(a) µ A (B C) log µ A(B C) µ A (B) = A R µ(a) H µa (P A Q A )
A Entropia é Não Negativa P, Q Π 0 (X, A) partições finitas. (a) H µ (P) 0, (b) H µ (P Q) 0 Prova. h(x) = x log x 0, x [0, 1] H µ (P) = A P h(µ(a)) 0 }{{} 0 H µ (P Q) = A Q µ(a) H µ A (P A ) 0 }{{} 0
Entropia da Partição Trivial é Nula P Π 0 (X, A) partição finita. (a) H µ ({X }) = 0, (b) H µ (P P) = 0. Prova. H µ ({X }) = µ(x ) log µ(x ) = 1 log 1 = 0 A P P A = {A} H µa (P A ) = 0 H µ (P P) = A P µ(a) H µ A (P A ) = 0 }{{} =0
Aditividade da Entropia P, P Π 0 (X, A) partições finitas. H µ (P P) = H µ (P) + H µ (P P) Prova. H µ (P P) = A P,B P µ(a B) log µ(a B) = [ ] A P,B P µ(a B) log µ(b) + log µ(a B) µ(b) = H µ (P) + H µ (P P)
Aditividade da Entropia Condicional P, P, Q Π 0 (X, A) partições finitas. H µ (P P Q) = H µ (P Q) + H µ (P P Q), Prova. (P P) A = P A P A, A A. H µ (P P Q) = A Q µ(a) H µ A (P A P A) = A Q µ(a) (H µ A (P A ) + H µa (P A P A)) = H µ (P Q) + H µ (P P Q)
A Entropia é Monótona Crescente P, P, Q Π 0 (X, A) partições finitas. (a) P P H µ (P) H µ (P ), (b) P P H µ (P Q) H µ (P Q). Prova. P P P P = P. H µ (P ) = H µ (P P) = H µ (P) + H µ (P P) H µ (P) }{{} 0 H µ (P Q) = H µ (P P Q) = H µ (P Q) + H µ (P P Q) H µ (P Q) }{{} 0
Relação entre a Entropia e a Entropia Condicional P, Q Π 0 (X, A) partições finitas. H µ (P) H µ (P Q). Prova. Seja P = {P 1,..., P m } H µ (P Q) = A Q µ(a) H µ A (P A ) = ( A Q µ(a)h µ(a P1 ) µ(a) ( ( h A Q µ(a) µ(a P1 ) µ(a) ),..., µ(a Pm) µ(a),..., µ(a Pm) µ(a) = h (µ(p 1 ),..., µ(p m )) = H µ (P) ) )
A Entropia é Monótona Decrescente na Segunda Partição P, Q, Q Π 0 (X, A) partições finitas. Q Q H µ (P Q ) H µ (P Q). Prova. H µ (P Q) = H µ (P Q Q ) = A Q µ(a) H µ A (P A Q A ) A Q µ(a) H µ A (P A ) = H µ (P Q )
Subaditividade da Entropia P, P, Q Π 0 (X, A) partições finitas. (a) H µ (P P ) H µ (P) + H µ (P ), (b) H µ (P P Q) H µ (P Q) + H µ (P Q). Prova. H µ (P P) = H µ (P) + H µ (P P) H µ (P) + H µ (P ) H µ (P P Q) = H µ (P Q) + H µ (P P Q) H µ (P Q) + H µ (P Q)
Relações Módulo 0 P, P Π 0 (X, A) partições finitas. Dizemos que P = P (mod 0) φ : P P bijectiva tal que P P, φ(p) = P (mod 0). Dizemos que P P (mod 0) P Π 0 (X, A) tal que P = P (mod 0) e P P. P = P (mod 0) e Q = Q (mod 0) H µ (P Q) = H µ (P Q ).
Entropia Condicional Nula P, Q Π 0 (X, A) partições finitas. H µ (P Q) = 0 P Q (mod 0) Prova. Se P Q (mod 0) então 0 H µ (P Q) H µ (P P) = 0 H µ (P Q) = 0 Reciprocamente, se P = {P 1,..., P m }, 0 = H µ (P Q) = A Q µ(a) H µ A (P A ). Assim, para todo A Q, H µa (P A ) = 0 P A = {A} B P, A B (mod 0) Logo P Q (mod 0).
Entropia e Independência P, P Π 0 (X, A) partições finitas. Dizemos que P e Q são µ-independentes µ(p Q) = µ(p) µ(q), P P, Q Q. H µ (P Q) = H µ (P) P e Q são µ-independentes. Prova. Se P e Q são independentes H µ (P Q) = µ(a B) A Q,B P µ(a B) log µ(a) = B P µ(b) log µ(b) = H µ(p). Reciprocamente, se P = {P 1,..., P m } e H µ (P Q) = H µ (P) ( ) A Q µ(a) h µ(a P1 ) µ(a),..., µ(a Pm) µ(a) = h(µ(p 1 ),..., µ(p m )) a i, A Q, µ(a P i ) µ(a) = a i a i = µ(p i )
Distância entre Partições Seja Π 0 (X, A, µ) o quociente de Π 0 (X, A) pela relação de equivalência P = Q (mod 0). Neste espaço, d(p, P ) = H µ (P P ) + H µ (P P) é uma métrica. Prova. P, Q, R Π 0 (X, A, µ), H µ (P R) H µ (P Q R) = H µ (Q R) + H µ (P Q R) H µ (Q R) + H µ (P Q) Logo d(p, R) d(q, R) + d(p, Q).