Física da Informação Probabilidades

Tamanho: px

Começar a partir da página:

Download "Física da Informação Probabilidades"

Laura Martinho
4 Há anos
Visualizações:

1 Física da Informação Probabilidades L.J. Amoreira UBI Novembro 2009

2 Sobre um exemplo da aula passada Uma caixa contém N bolas numeradas Retira-se uma bola, repõe-se na caixa, retira-se outra bola Qual a probabilidade de serem consecutivas? def repeat(nballs,nreps): i = 0 freq = 0 while i<=nreps: i=i+ b=random.randrange(,nballs+) b2=random.randrange(,nballs+) if abs(b-b2)==: freq+= return (freq*.)/nreps

3 A distribuição binomial Repete-se n vezes uma experiência na qual um dado acontecimento A tem uma probabilidade de ocorrência p. Qual a probabilidade de ele ( se dar ) k vezes? n Há maneiras de distribuir as k ocorrências de A pelas n k repetições. Sendo as k ocorrências independentes, a sua probabilidade é p k. Se A ocorre k vezes, então nas (n k) vezes restantes ocorre o complementar, Ā, com probabilidade ( p)(n k) Então ( n P n (k) = k ) p k ( p) (n k)

4 Distribuição binomial Exemplos Repete-se 4 vezes o lançamento de um dado. O pode sair 0,, 2, 3, ou 4 vezes, com probabilidades 0,482 ( ) ( ) k ( ) 4 k 4 5 0,386 P(k) = = k 6 6 0,6 0,05 0,00

5 Distribuição binomial Exemplos Há 87 alunos inscritos em Física da Informação A probabilidade de cada um fazer anos no dia de aniversário do professor (que não faz anos no no dia 9 de Fevereiro) é p = /5 2, Mas a probabilidade de um qualquer dos 87 alunos partilhar a data de aniversário com o professor é P() = ( 87 ) ( ) ( ) , (Já agora, refira-se que a probabilidade de, entre todos os 87 alunos inscritos, não haver quaisquer aniversários comuns é,4 0 5 )

Distribuição binomial Exemplos O número total de chaves possíveis do Totoloto (6 números de 49) é ( ) 49 N t = = 3 983 86,398 0 7 6 O número de chaves vencedoras é.

6 Distribuição binomial Exemplos O número total de chaves possíveis do Totoloto (6 números de 49) é ( ) 49 N t = = , O número de chaves vencedoras é... uma a probabilidade de se escolher a chave vencedora numa dada aposta é pois p = /, ,5 0 8 Quantas vezes devemos apostar para a probabilidade de ganharmos uma ou mais vezes ser superior a 0,5? Devemos determinar n tal que P(0) < 0,5, ou seja, ( ) n p 0 ( p) n = ( p) n < 0,5 0 n > ln 0,5 = ln( p) A dez apostas por semana, dá cerca de 8600 anos. Ou 4,8 Me. (P(0) = 0,500; P() = 0,347; P(2) = 0,20; P(3) = 0,028.)

7 Valor expectável de uma variável aleatória Dada uma variável aleatória (discreta) ( ) x x 2... x N, P P 2... P N define-se o seu valor expectável como x = N x k P k Quando se repete muitas vezes uma experiência aleatória, o valor médio dos resultados obtidos tende a aproximar-se do valor expectável da variável determinada. k=

8 Valor expectável de uma variável aleatória Por exemplo, lançamos dois dados. A soma dos seus valores é a variável aleatória ( ) R = 2 O valor expectável é 3 4 R = 5 2 r=2 6 5 rp r = 7 Repetiu-se n vezes o lançamento dos dois dados. O valor médio dos resultados obtidos é n R 6,700 6,958 7,008 7,000 2

9 Variância de uma variável aleatória O valor expectável é uma medida da localização da variável. Mas é também importante avaliar a dispersão da variável, ou seja, quão afastados uns dos outros são, em média, os sucessivos resultados da repetição da experiência. define-se para tal a variância, que é o valor expectável do quadrado dos desvios relativamente à média: σ 2 = (x x ) 2 Mais explicitamente, considerando de novo a variável genérica ( ) x x 2... x N, P P 2... P N a variância escreve-se σ 2 = N (x k x ) 2 P k k= A σ σ 2 dá-se o nome de desvio padrão

10 Como definir quantitativamente informação? Dado um sistema total ou parcialmente desconhecido, podemos avaliar o teor informativo de uma afirmação sobre esse sistema pela redução de ignorância que essa afirmação acarreta. Esta possibilidade coloca o problema de como definir quantitativamente ignorância A nossa ignorância de um sistema é tanto maior quanto maior for o nosso desconhecimento do valor das suas variáveis características Podemos considerar essas variáveis como variáveis aleatórias, cujo valor é determinado no momento em que fazemos uma experiência de medida Definir quantitativamente a nossa ignorância sobre um um sistema passa assim por introduzir uma medida quantitativa da nossa ignorância de uma variável aleatória Chama-se a essa medida incerteza (ou entropia) de uma variável aleatória.

11 Parêntesis: as funções logarítmicas Os logaritmos são as funções inversas das funções exponenciais: y = log b x x = b y (b > 0, b, x > 0) O parâmetro b chama-se base do logaritmo. Valores mais usuais logaritmos decimais: b = 0 logaritmos neperianos: b = e 2,78282 logaritmos binários: b = 2 Algumas propriedades: log(xy) = log x + log y log(x y ) = y log x log = 0 log(x/y) = log(x) log(y) Conversão entre bases: Calculadoras: log b x = log a x log a b log log 0 ; ln log e ;

12 Incerteza de uma variável aleatória A uma variável aleatória associamos um grau de incerteza porque não sabemos a priori que valor vai assumir Por exemplo, não sabemos que resultado obtemos do lançamento de um dado. A priori, é um valor incerto Se uma experiência tiver dois resultados possíveis, mas um deles tiver uma probabilidade muito baixa, é praticamente certo que será o outro a ocorrer. A incerteza desta experiência é portanto menor que se ambos os resultados tiverem probabilidades parecidas Quanto maior o número de resultados possíveis, maior a incerteza. Ou seja, é mais incerto o resultado do lançamento de um dado (seis possibilidades) do que o de uma moeda (2 possibilidades) Vamos tentar definir quantitativamente incerteza, de forma a serem satisfeitos dois requesitos. A incerteza de uma variável deve ser máxima se todos os resultados possíveis forem equiprováveis 2. A incerteza associada a duas variáveis A e B independentes deve ser igual à soma das incertezas de cada uma H(AB) = H(A) + H(B)

13 Incerteza de uma variável aleatória Seja X uma variável aleatória que pode tomar um de N valores possíveis x, x 2,... x N Sugestão : tomamos como a sua incerteza a função H (X) = N Não entra em linha de conta com as probabilidades de cada resultado. Não satisfaz o requesito. Dadas duas variáveis independentes A e B, com NA e N B resultados possíveis, a variável conjunta AB tem N A N B resultados possíveis. Logo, H (AB) = H (A) H (B). H não satisfaz o requesito 2. Conclusão: H não serve como definição de incerteza Sugestão 2: tomamos antes H 2 (X) = log N Esta possibilidade satisfaz o requesito 2: log(n A N B ) = log N A + log N B H 2 (AB) = H 2 (A) + H 2 (B) Mas não satisfaz o requesito, já que não são consideradas as probabilidades dos vários resultados.

14 Incerteza de uma variável aleatória A sugestão 2 não considera as probabilidades com que ocorrem os vários resultados x,..., x N. Ou seja, trata todos por igual. Ou seja ainda, trata os resultados possíveis como equiprováveis. Podemos reescrever H 2 (X) como H 2 (x) = log N = log N = N N log N N = N log N Mas se os vários resultados são equiprováveis e se são N no total, então p k = /N, logo N H 2 (X) = p k log p k Podemos adoptar esta expressão como definicão de incerteza de X? k= k=

15 O primeiro requisito -p ln p N Seja H(X) = p k log p k k= Note-se que ( f pi /N) f (p i )/N p log N p i log p i Ou seja, a incerteza é máxima quando os resultados são equiprováveis H(X) satisfaz o o requisito.

16 O segundo requisito Sejam A e B as duas variáveis aleatórias independentes ) ) A = ( x... x NA p... p NA B = ( y... y NB q... q NB A variável conjunta AB pode tomar qualquer dos N A N B valores z ik = (x i,y k ), com probabilidades p ik = p i q k A sua incerteza é então H(AB) = ik p ik log p ik = ik p i q k log(p i q k ) = p i q k (log p i + log q k ) ik = p i log p i q k q k log q k i k k i = H(A) + H(B) H(X) também satisfaz o segundo requisito! p i

17 Incerteza ou entropia de uma v.a. Incerteza de uma v.a.: H(X) = i p i log p i Em teoria da informação é costume usar logaritmos de base 2. Nesse caso, chama-se bit à unidade de incerteza. Menos frequentemente usam-se logaritmos neperianos (com os quais se define outra unidade de incerteza, o nat) ou logaritmos decimais, com os quais se define a unidade de incerteza hartley Os logaritmos de base 2 podem ser calculados a partir dos de base e (ln) ou de base 0 (log), disponíveis nas calculadoras, através das igualdades log 2 x = ln x ln 2 = log x log 2, (ln log e ; log log 0 )

18 Exemplos Lançamento de um dado: ( R = ) 6 H() = p k log p k = log(/6) = log 6 2,586 bits k= Lançamento de dois dados R = «H(2) = 2 k=2 p k log p k 3,274 bits Se fosse equiprovável, H(2) = log 3,459 bits

Documentos relacionados

Probabilidade. Definição de informação

Probabilidade. Definição de informação L.J. Amoreira UBI Novembro 2010 A distribuição binomial Repete-se n vezes uma experiência na qual um dado acontecimento A tem uma probabilidade de ocorrência p. Qual