L.J. Amoreira UBI. Dezembro 2010

Tamanho: px

Começar a partir da página:

Download "L.J. Amoreira UBI. Dezembro 2010"

Mariana Klettenberg Pinhal
7 Há anos
Visualizações:

1 Definição de informação L.J. Amoreira UBI Dezembro 2010

2 Entropia (ou incerteza [ou ignorância]) A incerteza associada a uma variável aleatória X que pode tomar os valores x 1, x 2,..., x n com probabilidades p 1, p 2,..., p n é (definição) H(X) = p i log p i. i Quais as entropias associadas às seguintes distribuições de probabilidade? 1. 1/2, 1/2 2. 1/3, 1/3, 1/3 3. 1/2, 1/4, 1/4 4. 1/12, 1/12, 1/3, 1/4, 1/4 Podíamos ter ordenado estas distribuições por ordem crescente de entropia antes de fazermos as contas?

3 Entropia Significados intuitivos (I) A incerteza de um resultado particular de uma experiência aleatória é tanto maior quanto mais improvável ele for Um resultado mais improvável (logo mais incerto) causa-nos maior surpresa. Se ele é certo, a surpresa a ele associada é nula; se é impossível, a surpresa a ele associada é infinita. Podemos definir incerteza (ou surpresa) associada a um valor particular X i de uma variável aleatória como h(x i ) = log p i, se p i for a probabilidade desse valor particular. Mas então a entropia associada a uma variável aleatória X, H(X) = i p i log p i = i p i h(x i ), é o valor expectável da incerteza associada aos vários valores possíveis dessa variável aleatória.

Entropia Significados intuitivos (II) A entropia associada ao lançamento de um dado é log 6 2, 5850 bit Em média, quantas perguntas com resposta sim/não devemos fazer para sermos informados do

4 Entropia Significados intuitivos (II) A entropia associada ao lançamento de um dado é log 6 2, 5850 bit Em média, quantas perguntas com resposta sim/não devemos fazer para sermos informados do resultado do lançamento de um dado? Estratégia 1: Estratégia 2: N = k p k N k N = k p k N k 3, , 6667 Há estratégias melhores? Há limites a essa melhoria? Sim: N H A entropia associada a uma variável aleatória é o número mínimo expectável de perguntas sim/não necessárias para determinarmos o seu valor.

5 Entropia Significados intuitivos (III) Seja X a variável aleatória ( ) a b c X = 0, 495 0, 495 0, 01 Repetindo muitas vezes a experiência que produz X esperamos encontrar sequências de resultados típicas, como (aababbbaab) ou (bbcaaabbba), mas não (acccbccbcc) O número de sequências típicas dos resultados da repetição n vezes de uma experiência aleatória é 2 Hn, onde H é a entropia associada à experiência.

6 Entropia conjunta Sejam X e Y duas variáveis aleatórias ( ) ( ) x1 x X = 2... x N y1 y Y = 2... y M p 1 p 2... p N p 1 p 2... p M Seja p ij = P(X = x i Y = y j ) a distribuição de probabilidade conjunta das duas variáveis A entropia conjunta das duas variáveis é H(X, Y ) = N i=1 j=1 M p ij log p ij

7 Entropia conjunta Exemplos X é o resultado do lançamento de uma moeda; Y é o resultado do lançamento de um dado. p ij = 1/2 1/6 = 1/12 H(X, Y ) = log 12 3, 585 bits = H(X) + H(Y ) Lançam-se duas moedas. Seja X o número de caras (0 ou 1) que saem na primeira das moedas e Y o número total de caras obtido nas duas moedas X = ( ) 0 1 1/2 1/2 Y = ( ) /4 1/2 1/4 Probabilidades conjuntas: Y = 0 Y = 1 Y = 2 X = 0 1/4 1/4 0 X = 1 0 1/4 1/4 H(X, Y ) = log 1 4 = 2 bits H(X) = 1 bit H(Y ) = 1, 5 bits H(X, Y ) H(X) + H(Y ) Propriedade geral da entropia conjunta

8 Entropia condicional Entropia associada ao lançamento de um dado: p(k) = 1 6 H i = log 6 Sabendo que o resultado é par, ( ) p(k) = p(k k é par) = H 0 1/3 0 1/3 0 1/3 f = log 3 Calculámos esta última entropia através da fórmula H(d d é par) = 6 p(k k é par) log p(k k é par) k=1 É a entropia de uma variável aleatória, condicionada a um determinado valor de outra variável aleatória.

9 Exemplo: o jogo do total Três amigos pensam num número entre 1 e 3 (inclusive). O objectivo é tentar adivinhar a soma dos três números Para cada jogador, a incerteza é a da associada à soma dos números escolhidos pelos seus dois adversários. As várias possibilidades e as suas probabilidades são ( a + b p(a + b) ) = ( /9 2/9 3/9 2/9 1/9 A incerteza da situação é H(a + b) = 2, 1972 bits Suponhamos que um dos jogadores faz batota e descobre que um dos seus parceiros escolheu o 3. As probabilidades alteram-se então para ( ) ( ) a + b = p(a + b b = 3) 0 0 1/3 1/3 1/3 A incerteza da situação é agora H(a + b b = 3) = log 3 1, 5850 bits, a entropia da soma condicionada ao valor de uma das parcelas ser 3. )

10 Entropia condicional Lançamos um dado (d). Se sai 1,2,3,4 (A), lançamos uma moeda; se no dado sai 5,6 (B), lançamos duas moedas. Qual a incerteza relativa ao número (m) de caras que obtemos no lançamento da ou das moedas? Probabilidades condicionadas: m d = A 1/2 1/2 0 d = B 1/4 1/2 1/4 Probabilidade marginal: m = Probabilidades conjuntas: m d = A 1/3 1/3 0 d = B 1/12 1/6 1/12 ( ) 5/12 1/2 1/12 Então H(m) = 1, 3250 bits Mas H(m d = A) = 1 bit e H(m d = B) = 1, 5 bit Chama-se incerteza condicional associada a m dado d ao valor expectável da incerteza relativamente a m dado o valor de d: H(m d) = p(d = A)H(m d = A) + p(d = B)H(m D = B) = 1, 1667 bits

11 Entropia condicional e informação mútua Em geral, dadas duas variáveis aleatórias X e Y, se for p(x i ) a distribuição de probabilidades associada à variável X, chama-se entropia condicional de Y dado X ao valor espectável da entropia condicional de Y para os diferentes valores de X: H(Y X) = i p(x i )H(Y X = x i ) Se nada sabemos sobre X, a entropia associada a Y é, simplesmente, H(Y ). Se observarmos X, haverá uma maior ou menor redução de incerteza, conforme o valor observado. O valor expectável da incerteza associada a Y depois da observação de X é a incerteza condicional H(Y X) O valor expectável da quantidade de informação que recebemos ao observar X é então I(Y X) = H(Y ) H(Y X) A esta quantidade dá-se o nome de informação mútua

12 Informação Exemplos No problema do dado e das moedas, tinhamos H(m) = 1, 3250 bits H(m d) = 1, 1667 bits. Logo, I(m d) = 0, 1583 bits No exemplo do jogo do total, H(a + b) = 2, 1872 bits H(a + b b) = 1, 5850 bits. I(a + b b) = 0, 6122 bits

13 Informação Exemplos Uma pessoa escolhe uma carta de um baralho normal de 52. Quanta informação nos transmite se nos disser qual é o naipe? A incerteza associada com a escolha da carta é H(C) = log 52 = 5, 7004 bits Ao dizer-nos o naipe, a incerteza passa a H(C N) = log 13 = 3, 7004 bits A informação recebida é então I(C N) = H(C) H(C N) = 2 bits Tentamos adivinhar um número x, secretamente escolhido por outra, pessoa por tentativas. Sugerimos um valor e essa pessoa diz-nos se o número x é menor, igual ou maior do que o que nós sugerimos. Se 1 x 50 e se nós sugerimos o 15, qual informação que recebemos se ela nos disser que o número secreto é menor? a incerteza inicial é H(x) = log 50 5, 6439 bits a incerteza final é H(x x < 15) = log 14 3, 8074 bits I(x x < 15) = H(x) H(x x < 15) = 1, 8365 bits De igual modo se deduz I(x x = 15) = H(x) H(x x = 15) = H(x) 5, 6439 bits I(x x > 15) = H(x) H(x x > 15) 0, 5146 bits

14 QUESTIONÁRIO

15 Para os alunos de número par 1. A probabilidade de chuva, amanhã às 15:00, é 0,69. Qual o valor da incerteza associada à ocorrência (ou não) de chuva a essa hora? A 0,27 bits B 0,62 bits C 0,89 bits 2. Num grupo com 15 mulheres e 10 homens é escolhido uma pessoa ao calhas. Qual a quantidade de informação recebida se nos dizem que é uma mulher? A 1,00 bit B 0,75 bits C 1,32 bits Para os alunos de número ímpar 1. A probabilidade de chuva, amanhã às 9:00, é 0,88. Qual o valor da incerteza associada à ocorrência (ou não) de chuva a essa hora? A 0,53 bits B 0,37 bits C 0,16 bits 2. Num grupo com 15 mulheres e 10 homens é escolhido uma pessoa ao calhas. Qual a quantidade de informação recebida se nos dizem que é um homem? A 1,00 bit B 0,75 bits C 1,32 bits

Documentos relacionados

Física da Informação Probabilidades

Física da Informação Probabilidades L.J. Amoreira UBI Novembro 2009 Sobre um exemplo da aula passada Uma caixa contém N bolas numeradas Retira-se uma bola, repõe-se na caixa, retira-se outra bola Qual