Probabilidade. Definição de informação

Transcrição

1 Probabilidade. Definição de informação L.J. Amoreira UBI Novembro 2010

2 A distribuição binomial Repete-se n vezes uma experiência na qual um dado acontecimento A tem uma probabilidade de ocorrência p. Qual a probabilidade de ele se dar k vezes? ( ) n Há maneiras de distribuir as k ocorrências de A pelas n k repetições. Sendo as n tentativas independentes, a probabilidade conjunta da ocorrência de k ocorrências do acontecimento numa distribuição concreta pelas n tentativas é p k. Se A ocorre k vezes, então nas (n k) vezes restantes ocorre o complementar, Ā, com probabilidade (1 p)(n k) Então P n (k) = ( n k ) p k (1 p) (n k)

3 Distribuição binomial Exemplos Repete-se 5 vezes o lançamento de um dado. O 0, 1, 2, 3, 4 ou 5 vezes, com probabilidades pode sair k P(k) P(k) P 6(1/6,k) k

4 Distribuição binomial Exemplos Há 71 alunos inscritos em Física da Informação A probabilidade de cada um fazer anos no dia de aniversário do professor (que não faz anos no no dia 30 de Novembro) é p = 1/5 2, Mas a probabilidade de haver um de entre os 71 alunos partilhar a data de aniversário com o professor é P(1) = ( 71 1 ) ( ) 1 1 ( ) , (Já agora, refira-se que a probabilidade de, entre todos os 71 alunos inscritos, não haver quaisquer aniversários comuns é 6, )

5 Distribuição binomial Exemplos O número total de chaves possíveis do Totoloto (6 números de 49) é ( ) 49 N t = = , O número de chaves vencedoras é... uma a probabilidade de se escolher a chave vencedora numa dada aposta é pois p = 1/1, , Quantas vezes devemos apostar para a probabilidade de ganharmos uma ou mais vezes ser superior a 0,5? Devemos determinar n tal que P(0) < 0, 5, ou seja, ( ) n p 0 (1 p) n = (1 p) n < 0, 5 0 n > ln 0, 5 = ln(1 p) A dez apostas por semana, dá cerca de anos. Ou 4,8 Me. (P(0) = 0, 500; P(1) = 0, 347; P(2) = 0, 120; P(3) = 0, 028.)

6 Valor expectável de uma variável aleatória Dada uma variável aleatória (discreta) ( x1 x 2... x N P 1 P 2... P N ), define-se o seu valor expectável como x = N x k P k k=1 Quando se repete muitas vezes uma experiência aleatória, o valor médio dos resultados obtidos tende a aproximar-se do valor expectável da variável determinada.

7 Valor expectável de uma variável aleatória Por exemplo, lançamos dois dados. A soma dos seus valores é a variável aleatória ( ) R = 1 2 O valor expectável é R = rp r = 7 r=2 Repetiu-se n vezes o lançamento dos dois dados. O valor médio dos resultados obtidos é n R 7,50 7,55 6,99 7,01 Valor médio Número de lançamentos

8 Variância de uma variável aleatória O valor expectável de uma variável dá uma ideia da sua localização A variância de uma variável aleatória dá uma ideia da sua dispersão A variância é o valor expectável do quadrado dos desvios relativamente ao valor expectável: σ 2 (X) = (X X ) 2 = = X 2 X 2 N p i (x i X ) 2 i=1

9 Variância de uma variável aleatória Consideremos as duas variáveis seguintes ( ) X 1 = 1/3 1/3 1/3 ( ) X 2 =. 1/7 1/7 1/7 1/7 1/7 1/7 1/7 O valor expectável é o mesmo: E(X 1 ) = E(X 2 ) = 7 Variância: σ 2 (X 1 ) = 8 k=6 k=4 p k (k X 1 ) 2 = 1 ( ) = 2/ σ 2 (X 2 ) = p k (k X 2 ) 2 = 1 ( ) = 3 7 A segunda tem maior dispersão que a primeira.

10 Valor esperado e variância da binomial X = E(X) = Np { ( N k, P k : 0 k N; P k = k σ 2 (X) = np(1 p) ) p k (1 p) N k }

11 Probabilidades e frequências Quando se repete muitas vezes uma experiência aleatória, as frequências relativas de cada acontecimento tendem para as respectivas probabilidades. Exemplo: a soma dos resultados obtidos no lançamento de dois dados Probabilidades: R P 2 1/ 3 2/ 4 3/ 5 4/ 6 5/ 7 6/ 8 5/ 9 4/ 10 3/ 11 2/ 12 1/ Probabilidades Freqs (N=50 Freqs (N=500 Freqs (N= D 1+D 2

12 Probabilidades e frequências Freq(3) Prob(3) Número de lançamentos

13 Teoria da informação A teoria da informação surgiu no contexto do estudo da comunicação O processo da comunicação é esquematizado como Que tipo de problemas enfrenta a teoria da informação? Correcção de erros na comunicação Transferência e armazenamento eficientes de informação

14 Correcção de erros Como garantir que a mensagem recebida é a mensagem enviada? Resposta ingénua: Redundância Duplicação, triplicação ou n-plicação de cada símbolo enviado Aplicação de um critério de majoração na recepção Inconveniente: reduzir a probabilidade de erros a zero obriga a reduzir a taxa efectiva de transferência de símbolos a... zero! Mas então é impossível a comunicação fiável? Não. Mas há limites para uma taxa de transferência fiável, impostos pela capacidade do canal

15 Transferência eficiente de informação Exemplo: como codificar em binário mensagens escritas com três símbolos (a, b, c), que ocorrem com probabilidades p(a) = 0, 6, p(b) = 0, 3 e p(c) = 0, 2? Duas possibilidades (entre muitas outras): a 00 b 01 c 10 a 0 b 10 c 11 Comprimento expectável: 0, , , 1 2 = 2bits/caractere 0, , , 1 2 = 1, 4bits/caractere A segunda codificação é mais eficiente que a primeira Há limites para esta eficiência? Sim: o comprimento expectável da mensagem é sempre maior do que a entropia da fonte

16 Como medir a informação? Consideremos um fenómeno ou sistema sobre o qual temos maior ou menor ignorância (ou incerteza), a que atribuímos o valor H i Pode ser, por exemplo, o resultado de uma experiência aleatória. (É-o, de facto: se não conhecemos algo sobre o sistema, podemos descrever com probabilidades esse desconhecimento) Se alguém nos ensina qualquer coisa sobre esse fenómeno ou sistema, a nossa ignorância (ou incerteza) diminui, passa a ter o valor H f A quantidade de informação recebida é então I = H i H f Mas como se mede a ignorância?

17 Como medir a ignorância Uma medida razoável de ignorância (ou incerteza) deve concordar com as seguintes considerações: A incerteza face ao resultado do lançamento de uma moeda é menor do que a incerteza face ao lançamento de um dado: se os resultados são equiprováveis, a incerteza é tanto maior quanto maior for o número de resultados possíveis A incerteza face ao resultado do lançamento de um dado desiquilibrado (p. ex., um que dê com o dobro da probabilidade dos restantes resultados) é menor do a associada ao lançamento de um dado equilibrado: para um dado número de resultados possíveis, a incerteza é máxima se eles forem equiprováveis A incerteza face ao resultado do lançamento de uma moeda e de um dado deve ser a soma das incertezas associadas a cada lançamento separadamente: a incerteza conjunta de duas variáveis independentes é igual à soma das incertezas associadas a cada uma delas

18 Medir a ignorância Take 1 Seja X uma variável aleatória que pode tomar um de N valores possíveis x 1, x 2,... x N Sugestão 1: tomamos como incerteza (ou ignorância) associada a X a função H 1 (X) = N Quanto maior o número de possibilidades, maior a incerteza. Satisfaz o requisito 1 Não entra em linha de conta com as probabilidades de cada resultado. Não satisfaz o requisito 2. Dadas duas variáveis independentes A e B, com N A e N B resultados possíveis, a variável conjunta AB tem N A N B resultados possíveis. Logo, H 1 (AB) = H 1 (A) H 1 (B). H 1 não satisfaz o requisito 3. Conclusão: H 1 não serve como medida de ignorância

19 Parêntesis: as funções logarítmicas Os logaritmos são as funções inversas das funções exponenciais: y = log b x x = b y (b > 0, b 1, x > 0) O parâmetro b chama-se base do logaritmo. Valores mais usuais logaritmos decimais: b = 10 logaritmos neperianos: b = e 2, logaritmos binários: b = 2 Algumas propriedades: log(xy) = log x + log y log(x y ) = y log x log 1 = 0 log(x/y) = log(x) log(y) Conversão entre bases: log b x = log a x log a b Calculadoras: log log 10 ; ln log e.

20 Medir a ignorância Take 2 Seja X uma variável aleatória que pode tomar um de N valores possíveis x 1, x 2,... x N Sugestão 2: tomamos como incerteza associada a X a função H 2 (X) = log N Esta possibilidade satisfaz o requisito 3: log(n A N B ) = log N A + log N B H 2 (AB) = H 2 (A) + H 2 (B) Mas não satisfaz o requisito 2, já que não são consideradas as probabilidades dos vários resultados. Conclusão: H 2 também não serve como medida de ignorância.

21 Medir a ignorância Take 3 A sugestão 2 não considera as probabilidades com que ocorrem os vários resultados x 1,..., x N. Ou seja, trata todos por igual. Ou seja ainda, trata os resultados possíveis como equiprováveis. Podemos reescrever H 2 (X) como H 2 (x) = log N = log 1 N = N 1 N log 1 N N = 1 N log 1 N k=1 Mas se os vários resultados são equiprováveis e se são N no total, então p k = 1/N, logo N H 2 (X) = p k log p k k=1 Podemos adoptar esta expressão como definicão de incerteza associada a X?

22 Medir a ignorância Seja então H(X) = i p i log p i Caso os vários resultados sejam equiprováveis, H(X) reduz-se a log N: H(X) satisfaz o primeiro requisito. Nos casos em que apenas há dois resultados possíveis (com probabilidades p e 1 p: H(p,(1-p)) H(p, (1 p) é máxima quando p = 0.5. Ou seja, H(X) satisfaz o segundo requisito p Com 3 ou mais resultados possíveis, verifica-se ainda este requisito. É só um pouco mais complicado demonstrá-lo.

23 O terceiro requisito Sejam A e B as duas variáveis aleatórias independentes ) ) A = ( x1... x NA p 1... p NA B = ( y1... y NB q 1... q NB A variável conjunta AB pode tomar qualquer dos N A N B valores z ik = (x i, y k ), com probabilidades p ik = p i q k A sua incerteza é então H(AB) = ik p ik log p ik = ik p i q k log(p i q k ) = p i q k (log p i + log q k ) ik = p i log p i q k q k log q k i k k i = H(A) + H(B) H(X) também satisfaz o terceiro requisito! p i

24 Exemplo Lançamento de um dado: ( 1 R = ) 6 H(1) = p k log p k = log(1/6) = log 6 2, 586 bits k=1 Lançamento de dois dados ( R = ) 12 H(2) = p k log p k 3, 274 bits k=2 Se fosse equiprovável, H(2) = log 11 3, 459 bits