L.J. Amoreira Dept. Física, UBI Dezembro 2010

Transcrição

1 Brevíssima introdução à teoria da informação L.J. Amoreira Dept. Física, UBI Dezembro 2010 Conteúdo 1 Introdução 2 2 Variáveis aleatórias e probabilidade Experiências aleatórias e variáveis aleatórias Probabilidade Definição de probabilidade Variáveis aleatórias. Valor expectável e variância A noção intuitiva de probabilidade Probabilidade conjunta e probabilidades marginais Probabilidade condicional e independência Um exemplo mais elaborado Ignorância e informação Como medir a informação Como medir a ignorância Três requisitos a satisfazer pela medida da ignorância Significado intuitivo da entropia Entropia conjunta e entropia condicional Algumas propriedades da entropia Informação. Informação mútua Duas aplicações recreativas Codificação sem ruído 30 A Propriedades elementares dos logaritmos 31 B Demonstração de algumas proposições enunciadas 33 B.1 Um teorema auxiliar B.2 p k log p k é a única medida aceitável de ignorância B.3 p k log p k é máxima se os p k forem todos iguais B.4 H(X,Y ) H(X) + H(Y ) B.5 H(Y X) H(Y ) C Entropia?! Porquê esta palavra? 36 1

2 1 INTRODUÇÃO 2 1 Introdução A teoria matemática da informação debruça-se sobre problemas relacionados com o armazenamento e o transporte de informação, de uma forma geral, independente das vantagens e condicionalismos específicos inerentes a qualquer tecnologia particular. O tipo de problemas estudado fica ilustrado com questões como as que se seguem: Como codificar as mensagens de modo a que o tempo médio de transmissão, a uma taxa de transferência dada, seja mínimo?, Há limites para a compressão de informação? Se sim, quais?, Como minimizar a probabilidade de ocorrência de erros na transmissão de informação?. Subjacente à teoria, há um modelo geral para a transmissão de informação que devemos introduzir antes de prosseguir, e que está esquematizado na Figura 1. Talvez valha a pena uma breve discussão sobre os aspectos menos óbvios Figura 1: Modelo para a comunicação de informação. deste modelo, que são (1) a necessidade de codificação (e de descodificação) da mensagem e (2) a presença do ruído no canal de transmissão. Em primeiro lugar, na transmissão de informação há sempre um processo de codificação, mesmo que frequentemente não nos apercebamos disso. A codificção necessária para a transmissão pode ser linguística (ou seja, a verbalização da mensagem), pode consistir na digitalização, na transformação em sinais de modulação de uma onda portadora, na pela codificação em código morse, na transformação da mensagem numa onda de pressão atmosférica (som) ou em desenhos num quadro, etc. A codificação da mensagem consiste, ao fim e ao cabo, na geração de um sinal apto para a sua transmissão. É dessa necessidade que os blocos codificador e descodificador na figura dão conta. Em segundo lugar, o canal de transmissão (fibra óptica, papel impresso, sinal electromagnético, pen drive, etc) está quase sempre sujeito a influências externas e internas incontroláveis, mais ou menos intensas, pelo que se deve considerar a possibilidade de a mensagem ser parcialmente corrompida no processo de transmissão. É esse eventual efeito que está contemplado com a introdução de ruido no canal de transmissão. Nestes apontamentos faz-se uma introdução à teoria da informação. Começase por rever alguns conceitos da teoria das probabilidades, um pré-requisito indispensável para a teoria da informação, na Secção 2. Na Secção 3 introduz-se uma medida de ignorância (a entropia de Shannon) e define-se a quantidade de informação. O problema da codificação óptima (sem ruído) é, por fim, estudado na Secção 4. Deixa-se para os apêndices algumas demonstrações mais elaboradas.

3 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 3 2 Variáveis aleatórias e probabilidade 2.1 Experiências aleatórias e variáveis aleatórias Há algumas experiências ou observações cujo resultado não pode ser determinado de antemão. Por exemplo não sabemos (nem sabemos como calcular) o resultado do lançamento de um dado, não sabemos, com certeza absoluta, se irá chover numa determinada hora de um dia no futuro, não sabemos prever quanto tempo um neutrão isolado existirá antes de, por decaimento-β, se transformar num protão, num neutrão e num anti-neutrino, não sabemos que partido irá ganhar as próximas eleições. Experiências ou observações com esta característica de imprevisibilidade chamam-se experiências aleatórias. Chama- -se resultado ou acontecimento a um resultado particular de uma experiência aleatória, espaço de acontecimentos ou espaço de resultados de uma experiência aleatória ao conjunto dos seus resultados e variável aleatória a qualquer função desses resultados. Vejamos alguns exemplos. Quando se lança um dado, é um acontecimento sair o 4, sair o 1, sair um número par (2, 4 ou 6) ou sair um número primo primo (2, 3 ou 5). O espaço de resultados desta experiência é o conjunto {1, 2, 3, 4, 5, 6}. Relativamente à duração de um neutrão isolado, são acontecimentos o neutrão existir durante um período inferior a 5 min, o neutrão decair num intervalo de tempo compreendido entre 3 s e 3,1 s, etc. O espaço de resultados é agora o conjunto dos números reais positivos. O espaço de resultados relativamente aos resultados das próximas eleições é o conjunto dos partidos que a ela concorrem, etc. Dados dois acontecimentos de uma experiência aleatória, chamamos união ao acontecimento de se dar um ou o outro (ou ambos); chamamos intersecção ao acontecimento de se darem ambos simultaneamente. Por exemplo, considerando o lançamento de um dado, a união dos acontecimentos A=( sai o 1) e B=( sai o 2) é o acontecimento A B=( sai o 1 ou o 2); a intersecção destes dois acontecimentos é, obviamente, nula. Ainda relativamente ao lançamento do dado, a união dos acontecimentos A=( sai um número par) (ou seja, sai um dos elementos de {2, 4, 6}) e B=( sai um número menor que 3) (ou seja, sai um dos elementos de {1, 2}) é o acontecimento A B={1,2,4,6}; a sua intersecção é A B={2}. Dois acontecimentos dizem-se disjuntos ou incompatíveis se a sua intersecção for o vazio. Dois ou mais acontecimentos dizem-se uma partição do espaço de resultados se forem incompatíveis e se a sua união for o próprio espaço de resultados. Voltando ao exemplo do lançamento do dado, são acontecimentos incompatíveis sair o 1 e sair o 2; são também incompatíveis sair um número par e sair um número ímpar, e estes dois acontecimentos formam uma partição do espaço de resultados da experiência. Por fim, dois acontecimentos X e X dizem- -se complementares se forem incompatíveis e formarem uma partição do espaço de acontecimentos. Estas definições podem ser ilustradas graficamente recorrendo aos chamados diagramas de Venn. Num diagrama de Venn representa-se o espaço de resultados de uma experiência aleatória através de um rectângulo e acontecimentos dessa experiência como porções desse rectângulo. As definições apresentadas acima ficam ilustradas nos diagramas da Figura 2.

4 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 4 Figura 2: Diagramas de Venn. 2.2 Probabilidade Quando se repete muitas vezes uma experiência aleatória, alguns resultados ocorrem mais frequentemente que outros. A noção de probabilidade foi desenvolvida exactamente para dar conta dessa regularidade irregular dos fenómenos aleatórios. De um ponto de vista físico (ou empírico), a probabilidade de um acontecimento é, simplesmente, a frequência relativa da sua ocorrência quando se repete mutias vezes a experiência que o produz. Mas esta definição de probabilidade, chamada definição empírica, é muito vaga (quantas muitas vezes é que é preciso repetir a experiência para que a probabilidade de cada acontecimento seja igual à sua frequência relativa?) e por isso pouco útil, de um ponto de vista teórico. Uma definição mais produtiva é a definição axiomática, que será apresentada já de seguida. No entanto, como a defnição empírica é a expressão mais directa da nossa intuição, e convém mantê-la sempre presente no que se segue Definição de probabilidade Probabilidade é qualquer função P (A) dos acontecimentos de uma experiência aleatória com espaço de acontecimentos S que satisfaça os seguintes axiomas: 1. A probabilidade é real e não negativa: P (A) R 0, A S 2. A probabilidade da união de dois acontecimentos disjuntos é a soma das probabiliades: P (A B) = P (A) + P (B), se A B = 3. A probabilidade do espaço de acontecimentos é a unidade P (S) = 1

5 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 5 Destes axiomas podemos deduzir várias propriedades da probabilidade: 1. P (X) 1 Demonstração Consideremos um acontecimento A qualquer e o seu complementar A. Uma vez que são acontecimentos, as suas probabilidades são reais e positivas. Mas uma vez que são incompatíveis, a probabilidade da sua união é a soma das suas probabilidades, de acordo com o Axioma 2: P (A A) = P (A) + P (A). Por outro lado, como formam uma partição do espaço de acontecimentos, A A = S, logo, pelo Axioma 3, 1 = P (S) = P (A A) = P (A) + P (A). Como P (A) e P (A) são ambos positivos, não pode nenhum deles ser superior à unidade. 2. Numa experiência que pode produzir N resultados incompatíveis com igual probabilidade, a probabilidade de cada um é P = 1/N Demonstração A probabilidade de que ocorra qualquer um dos N resultados possíveis, uma vez que eles são incompatíveis, é igual à soma das suas probabilidades, de acordo com o Axioma 2. Mas, nesta soma, todos as N parcelas são iguais, uma vez que as várias possibilidades são equiprováveis. Por outro lado, a união de todas as possibilidades é o espaço de resultados, que tem probabilidade 1. Resulta então 1 = Np p = 1 N. 3. A soma das probabilidades de dois acontecimentos complementares é a unidade: P (A) + P (Ā) = 1 Demonstração Uma vez que dois acontecimentos complementares são incompatíveis, a probabilidade da sua união é a soma das suas probabilidades; mas como dois acontecimentos complementares formam uma patição do espaço de resultados, a sua união é o próprio espaço de resultados, com probabilidade Variáveis aleatórias. Valor expectável e variância Uma vez que os resultados das experiências aleatórias não são predeterminados, os valores assumidos por variáveis aleatórias (que são, recordemos, funções do resultado de uma experiência aleatória) também não o são. Podemos, quando muito, associar a cada valor possível de uma variável aleatória um certo peso probabilístico. Variáveis aleatórias são, por exemplo, o número de pintas na face de um dado que fica virada para cima após o lançamento, a soma dos números de

6 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 6 pintas em dois dados, o tempo de existência de um neutrão isolado, a idade de uma pessoa escolhida ao acaso num grupo, etc. As variáveis aleatórias podem ser discretas (como o número que sai no lançamento de um dado) ou contínuas (como o tempo de existência de um neutrão). Nós vamos apenas considerar as discretas. Uma variável aleatória fica definida indicando o conjunto de valores possíveis e as suas probabilidades. Quando o número de possibilidades não é muito grande, pode usar-se, para especificar completamente a variável, uma notação que apresenta todos os valores possíveis e as suas probabilidades. Por exemplo, ( ) X = (1) 1/2 1/3 1/6 representa uma variável aleatória que pode tomar os valores 1, 2 e 3, com probabilidades 1/2, 1/3 e 1/6, respectivamente. Nestes apontamentos usaremos muito frequantemente esta notação. Chama-se valor expectável ou valor esperado de uma variável aleatória X que pode tomar qualquer dos valores x 1, x 2,...,x N, respectivamente com probabilidades p 1, p 2,..., p N, à quantidade X = p i x i. (2) i=1 O valor expectável é um parâmetro de localização da variável aleatória ou seja, com o valor expectável pretende-se indicar mais ou menos o valor da variável aleatória. Define-se também um parâmetro de dispersão (ou seja, um parâmetro que dê uma ideia da amplitude do intervalo definido pelos valores que a variável aleatória pode assumir) chamado variância, dado por σ 2 X = (x i X ) 2. (3) Exemplo Para a variável aleatória da Eq. (1), o valor esperado e a variância são i=1 X = = 5 3 σx 2 = 1 ( ) ( ) ( ) 2 = Quando repetimos muitas vezes a observação de uma variável aleatória, obtemos uma sucessão de resultados r 1, r 2,..., r N, sendo cada um deles um dos valores que a variável aleatória em questão pode tomar. É usual dar-se o nome de amostra a esta sucessão de resultados concretos. Para este conjunto de valores, podemos calcular a média amostral, dada por r = 1 N r k, k=1

7 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 7 que dá uma ideia de localização dos valores da amostra, e a variância amostral, S 2 = 1 N 1 (r k r) 2, k=1 que é uma medida da dispersão dos resultados obtidos. Note-se bem que estes parâmetros (média e variância amostral) não caracterizam directamente qualquer variável aleatória, caracterizam, sim, amostragens concretas de variáveis aleatórias. Assim, não devem ser confundidos com o valor esperado e a variância de uma variável aleatória. 2.3 A noção intuitiva de probabilidade Os fenómenos aleatórios são caracterizados por uma certa regularidade, que se manifesta quando se tomam grandes números de repetições das experiências que os produzem, mas essa regularidade, por vezes, fica mascarada pelas flutuações do acaso. Num certo sentido, podemos dizer que a irregularidade dos fenómenos aleatórios tem importância apenas em pequena escala, quando a experiência aleatória em questão é repetida poucas vezes. A noção de probabilidade mais próxima da nossa intuição empírica dá conta dessa regularidade emergente dos fenómenos aleatórios, identificando a probabilidade de um acontecimento como o limite para que tende a frequência relativa desse acontecimento, quando se repete muitas vezes a experiência aleatória que produz esse acontecimento. Como já foi dito, esta propriedade não serve para definir o conceito de probabilidade porque está expressa de forma muito vaga. Em primeiro lugar, a palavra tende aparece aqui num sentido discutível (e daí aparecer entre aspas) porque a tendência que ela refere não é uma tendência monótona, e nem sempre é claramente discernível ao início de uma série de repetições da experiência; em segundo lugar, nada é dito sobre quantas vezes se deve repetir a experiência para que se possa fazer a identificação da probabilidade de um acontecimento com a sua frequência relativa. Vejamos com um exemplo a emergência da regularidade estatística de um fenómeno aleatório, quando se repete muitas vezes a experiência que o produz. Exemplo Consideremos a variável aleatória da Eq. (1). Uma experiência que produz essa variável é por exemplo, a seguinte: Lança-se um dado; se sair o 1, o 2 ou o 3, tomamos X = 1; se sair o 4 ou o 5, tomamos X = 2; se sair o 6, tomamos X = 3. Repetiu-se esta experiência vezes. As frequências relativas dos vários resultados foram sendo calculadas e estão estão apresentadas no gráfico em baixo. Nota-se, muito claramente, a tendência de aproximação das frequências relativas das diferentes possibilidades aos valores das probabilidades correspondentes. À medida que as frequências relativas das diversas possibilidades se regularizando estatisticamente, a média dos valores sucessivamente obtidos, r, vai-se aproximando do valor esperado da variável aleatória. Ao mesmo tempo, a variância da amostra vai-se aproximando do valor da variância da variável aleatória. Na série de repetições da observação da variável X que produziu os resultados anteriores, a média e a variância dos resultados que foram sendo obtidos tiveram a evolução apresentada na figura em baixo. Também aqui se nota a regularidade estatística emergente quando se repete muitas vezes uma experiência aleatória.

8 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE f(1) f(2) f(3) Frequência relativa Número de repetições média variância ,000 1e+04 1e+05 Número de repetições 2.4 Probabilidade conjunta e probabilidades marginais Sejam X e Y as duas variáveis aleatórias seguintes: ( ) ( ) x1 x X = 2... x N y1 y Y = 2... y M. p 1 p 2... p N q 1 q 2... q M Chamamos variável conjunta XY à composição das duas variáveis. Assim como os x i, 1 i N são os N resultados possíveis de uma observação de X e os y j, 1 j M são os M resultados possíveis de uma observação de Y, os resultados possíveis de uma observação da variável conjunta XY são os N M pares ordenados (x i,y j ), 1 i N, 1 j M. Chamamos probabilidade conjunta P ij = P (X = x i Y = y j ) à probabilidade de ocorrência do resultado (x i,y j ) numa observação da variável conjunta XY. A probabilidade conjunta P ij é então a probabilidade de se obter o valor particular x i numa observação de X e, simultaneamente, o valor particular y j numa observação de Y. Como

9 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 9 uma observação de X e de Y produz com certeza um dos NM pares (x i,y j ), a soma de todas as probabilidades conjuntas deve ser 1, como se exige a qualquer distribuição de probabilidade: M P ij = 1. Conhecidas as probabilidades conjuntas P ij de um par de variáveis XY, é possível calcular as probabilidades p i e q j de cada variável do par (1). Com efeito, o resultado particular x i da observação de X pode vir acompanhado de qualquer dos resultados particulares y j da observação de Y, e estes são incompatíveis (isto é, se é observado y 1 não pode ser observado y 2, por exemplo). Assim, os resultados da observação conjunta (x i,y j ), para diferentes j, são mutuamente incompatíveis. Logo, ou seja, P (X = i) = P (X = x i Y = y 1 ) + P (X = x i Y = y 2 ) P (X = x i Y = y M ), p i = M j=1 Do mesmo modo, fixando um valor particular y j de Y e considerando as várias possibilidades para X, concluimos que q j = P ij P ij. (4) i=1 Exemplo Numa sala com 13 mulheres e sete homens, 2 homens e 3 mulheres estão constipados. Uma destas pessoas é escolhida ao acaso. Seja X o sexo da pessoa escolhida (com os valores f e m ) e Y o seu estado de saúde (com os valores s, se a pessoa estiver sã, e c, se estiver constipada). A variável conjunta XY pode tomar qualquer dos valores (f,s), (f,c), (m,s) e (m,c). Uma vez que há 10 mulheres saudáveis neste conjunto de 20 pessoas, a probabilidade de a pessoa escolhida ser mulher e ser saudável é 10/20=0,5. De igual modo se obtêm as restantes probabilidades conjuntas, apresentadas na tabela ao lado. Note-se que a soma y x f m s 0,50 0,25 c 0,15 0,10 destas quatro probabilidades é a unidade, como não podia deixar de ser. A probabilidade de a pessoa escolhida ser mulher (esteja ou não constipada) é 13/20=0,65, justamente o que se obtém somando as probabilidades conjuntas P (f,s) e P (f,c). Verifica-se neste caso, portanto, a igualdade da Eq. (4). Verifique o leitor esta igualdade para as restantes probabilidades marginais P (m), P (s) e P (c). (1) Neste contexto, estas probabilidades p i e q j são frequentemente designadas marginais ou apriorísticas, para as distinguirmos mais facilmente das probabilidades conjuntas (e de outras que iremos referir em breve).

10 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE Probabilidade condicional e independência Em certas situações, conhecer o valor assumido por uma das variáveis de um par altera os valores dos vários resultados da outra. Por exemplo, consideremos o lançamento de um dado. Seja X a variável que representa o número que sai e Y a sua paridade. Estas duas variáveis são X = ( ) /6 1/6 1/6 1/6 1/6 1/6 Y = ( par ) ímpar 1/2 1/2 As probabilidades aqui apresentadas são probabilidades das variáveis X e Y, prévias a qualquer informação sobre o resultado do lançamento do dado. Se conhecemos o valor de Y, as probabilidades dos vários resultados de X alteramse. Por exemplo, se soubermos que saiu um número par, as probabilidades de X tomar os valores 1, 3 e 5 passam a zero, ao passo que as dos valores 2, 4 e 6 passam a 1/3 (sabendo que o resultado é par, restam apenas três casos possíveis, com iguais probabilidades). De igual modo, mas ao contrário, se nos dizem que no lançamento do dado saiu o quatro, a probabilidade de ter saído um resultado ímpar passa a zero e a de ter saído um número par passa a um. À probabilidade de ocorrência de um dado acontecimento, sabendo-se que outro ocorreu, chama-se probabilidade condicional. Voltando ao exemplo que acabámos de referir, a probabilidade de ter saído três no lançamento do dado sabendo que saiu um número par é uma probabilidade condicional (e que tem o valor zero, obviamente). Por definição, a probabilidade condicional de um acontecimento Y = y j, sabendo que outro acontecimento X = x i se deu é igual à probabilidade conjunta dos dois acontecimentos, P (X = x i Y = y j ), a dividir pela probabilidade do acontecimento condicionante, P (X = x i ), ou seja P (Y = y j X = x j ) = P (Y = y j X = x j ). (5) P (X = x i ) Exemplo Consideremos de novo o exemplo anterior: num grupo constituído por 13 mulheres e sete homens, três mulheres e dois homens encontram-se constipados, os restantes estão sãos. Um elemento do grupo é escolhido de forma aleatória. Seja X o sexo da pessoa escolhida (com os valores f ou m ) e Y o seu estado de saúde (com os valores s ou c ). As probabilidades conjuntas das ocorrências dos vários resultados das variáveis X e Y são, recordemo-lo: y x f m s 0,50 0,25 c 0,15 0,10 Qual a probabilidade de ter sido escolhida uma mulher (X = f), sabendo que o elemento escolhido não está constipado (Y = s)? Como neste grupo há 15 pessoas saudáveis e, dessas, 10 são mulheres, deduzimos que essa probabilidade é P (X = f Y = s) = 10/15 = 2/3. Mas esta probabilidade é uma probabilidade condicional, pelo que podemos usar a Eq. (5) para a estimar. Ora, de acordo com os valores apresentados na tabela, a probabilidade

11 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 11 conjunta P (X = f Y = s) = 0,5; a probabilidade de o elemento escolhido ser saudável é P (Y = s) = 0,75 (ver o exemplo da secção anterior). Então P (X = f Y = s) = P (X = f Y = s) P (Y = s = 0,5 0,75 = 2/3, sendo assim satisfeito o resultado que obtivemos acima por análise directa da situação. Verifique que a Eq. (5) se aplica para o cálculo de outras probabilidades condicionais. Note que em geral P (A B) P (B A). Verifique esta preposição para este exemplo. Reescrevendo a Eq. (5), obtemos uma fórmula para calcular a probabilidade conjunta de dois acontecimentos A e B: P (A B) = P (A B)P (B). (6) A esta expressão dá-se por vezes o nome de regra do produto ou regra da cadeia. Dois acontecimentos A e B dizem-se independentes se o conhecimento da ocorrência de um não altera a probabilidade do outro. Nesse caso, temos, evidentemente P (A B) = P (A). Substituindo nesta igualdade a regra do produto, obtemos P (A B) = P (A)P (B), se A e B forem independentes. (7) Se todos os resultados possíveis de duas experiências aleatórias forem independentes entre si, as duas variáveis dizem-se, igualmente, independentes. Exemplo Lança-se uma moeda e um dado. Seja A o acontecimento de sair cara no lançamento da moeda e B o acontecimento de sair 6 no do dado. A probabilidade conjunta associada a este par de acontecimentos é, uma vez que eles são independentes, P ( cara 6) = = Consideremos duas variáveis aleatórias X e Y. Sabendo que X assume um determinado valor X = x k, as probabilidades dos vários valores possíveis para Y são as probabilidades condicionais P (Y X =x k ). Mas, se observarmos Y, algum dos seus valores possíveis ocorrerá. Assim, as probabilidades condicionadas, para um dado acontecimento condicionante devem ter soma igual a 1, P (Y =y j X =x k ) = 1, j ou seja, as probabilidades condicionais para um dado acontecimento condicionante, são elas próprias, também, uma distribuição de probabilidades. Exemplo Vejamos, mais uma vez o exemplo da página 10, em que se considera um grupo de 13 mulheres e sete homens, dos quais três mulheres e dois homens estão constipados, estando os restantes sãos. Seja, como antes, X o sexo ( f e m ) de um elemento do grupo escolhido ao acaso e seja Y o seu estado de saúde ( s e c ). Como já se viu, as probabilidades condicionais de X conhecido Y são as apresentadas na tabela

12 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 12 y x f m s 2/3 1/3 c 3/5 2/5 Note que as somas dos valores de cada linha (ou seja, as probabilidades condicionais dos diferentes valores de X, para um dado valor de Y ) são iguais à unidade. 2.6 Um exemplo mais elaborado Consideremos a seguinte situação. Lança-se um dado. Se o resultado for 1, 2 ou 3 (caso 1), lança-se uma moeda; se o resultado do lançamento do dado for 4 ou 5 (caso 2), lançam-se duas moedas; se for 6 (caso 3), lançam-se 3 moedas. Seja X o ocorrido no lançamento do dado (caso 1, caso 2 ou caso 3) e Y o número de caras que se obtêm nolançamento da ou das moedas. Calcule a distribuição de probabiliade da variavel conjunta XY e as probabilidades marginais das duas variáveis separadamente. As probabilidades marginais da variável X são fáceis de calcular: X toma o valor 1 se, no dado, sair 1, 2, ou 3, ou seja, P (X = 1) = 3/6 = 1/2. De igual modo chegamos a P (X = 2) = 1/3 e P (X = 3) = 1/6. Ou seja, a variável X é ( ) X =. 1/2 1/3 1/6 As probabilidades marginais dos valores possíveis da variável Y são mais difíceis de calcular, porque temos que considerar diferentes situações conforme o valor de X. Comecemos por constatar que, visto que lançamos uma, duas ou três moedas, o número de caras que obtemos no lançamento pode assumir os valores 0, 1, 2 ou 3. Posto isto, consideremos os casos em que X = 1, ou seja, aqueles em que lançamos apenas uma moeda. Nesse caso, Y não pode tomar os valores 2 ou 3 (só lançamos uma moeda, temos zero ou uma cara), com iguais probabilidades; as probabilidades são então ( ) P (Y X = 1) =. 1/2 1/2 0 0 Vejamos agora o caso X = 2, em que lançamos duas moedas. Y pode agora assumir os valores 0, 1 ou 2, mas Y = 3 ainda é impossível. Os três casos possíveis não são equiprováveis, uma vez que só há uma situação para se obter cada um dos casos zero ou duas caras (respectivamente, essas situações são coroa, coroa e cara, cara ) mas há duas para se obter Y = 1 ( cara, coroa e coroa, cara ). As probabilidades dos vários valores de Y, sabendo que X = 2, são então ( ) P (Y X = 2) =. 1/4 1/2 1/4 0 Por fim o caso X = 3, em que três moedas são lançadas. Y pode agora assumir os quatro valores (0, 1, 2 e 3) referidos acima. Um pouco de análise mostra que as suas probabilidades são ( ) P (Y X = 3) = 1/8 3/8 3/8 1/8

13 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE 13 Agora que dispomos das probabilidades marginais de X e das probabilidades condicionais de Y para os diferentes valores de X, podemos calcular as probabilidades conjuntas usando a regra do produto. Por exemplo, P (X = 1 Y = 0) = P (Y = 0 X = 1)P (X = 1) = = 1 4 P (X = 1 Y = 1) = P (Y = 1 X = 1)P (X = 1) = = 1 4 P (X = 1 Y = 2) = P (Y = 2 X = 1)P (X = 1) = = 0 P (X = 2 Y = 0) = P (Y = 0 X = 2)P (X = 2) = = 1 12, e assim sucessivamente. Os resultados estão todos resumidos na tabela seguinte: X Y /4 1/ /12 1/6 1/ /48 3/48 3/48 1/48 Ficam assim calculadas as probabilidades da variável conjunta. Falta agora calcular as probabilidades marginais da variável Y, tarefa que levamos a cabo usando a Eq. (4). A probabilidade de ocorrência de cada valor de Y é igual à soma das probabilidades conjuntas correspondendo a esse valor de Y. Ou seja, considerando a tabela acima, essas probabilidades são as somas, coluna a coluna, dos valores aí apresentados. Obtém-se o seguinte: ( ) Y =. 17/48 23/48 7/48 1/48 Problemas 1. A fracção de canhotos na população geral é de cerca de 1%. Calcula a probabilidadede haver quatro ou mais canhotos num grupo de 200 pessoas. 2. De um baralho de 52 cartas, vão-se tirando cartas ao calhas, até que surja o ás de copas. (a) Qual o valor da probabilidade de que saia o ás de cops logo na primeira tentativa? Qual a probabilidade de que isso só aconteça na segunda? Qual o valor da probabilidade de que sejam necessárias k escolhas? (b) Qual o valor expectável do número de vezes que temos que tirar uma carta do baralho, até ser escolhido o ás de copas? 3. A letra e, sem acentos, ocorre no português escrito com uma probabilidade de 0,1214. (a) Qual o valor expectável do número de e numa mensagem com 300 caracteres? (b) Qual a probabilidade de o número de e efectivamente presentes na mensagem ser, exactamente, o inteiro mais próximo do valor calculado na aĺınea (a)? 4. Um saco contém n a bolas amarelas e n v bolas vermelhas. Uma bola é retirada do saco de forma aleatória e aí de novo recolocada, repetindo-se o processo N vezes. (a) Qual a probabilidade de sejam retiradas k bolas vermelhas (0 k N) no processo? (b) Mostre que a soma das probabilidades dos vários resultados possíveis é 1. (c) Calcule o valor expectável e a variância da variável aleatória número de bolas vermelhas obtidas em N escolhas, com reposição. (d) Sejam n a = 5, n v = 3; Calcule os valores numéricos das várias probabilidades, o valor expectável da variável em estudo e a sua variância.

14 2 VARIÁVEIS ALEATÓRIAS E PROBABILIDADE A tabela mostra a distribuição de probabilidade conjunta de duas variáveis aleatórias x e y: P (x y) y = 0 y = 1 x = 0 1/3 1/3 x = 1 0 2/3 (a) (a) Calcule as probabilidades marginais (p(x) e p(y)). (b) Calcule as probabilidades condicionadas P (y x = 0) 6. Uma dada população humana foi sujeita a um inquérito em que se tentava averiguar uma eventual ligação entre a incidência de escoliose (uma deformação lateral da coluna vertebral) e a execução de violino. Os resultados do inquérito são os apresentados na tabela de probabilidades conjuntas seguinte Toca violino Não toca violino Tem escolise , Não tem escoliose 9, , (a) Determine as probabilidades marginais das variáveis X = Toca violino e Y = Tem escoliose. (b) Calcule as probabilidades condicionais (X Y ) (Y X). (c) Há correlação entre estas duas variáveis? 7. Uma pessoa dispõe de duas moedas. Uma é normal, com face cara e face coroa, a outra tem a cara impressa nas duas faces. Essa pessoa escolhe ao calhas uma das duas moedas e lança-a duas vezes, registando o número de vezes que a moeda sai cara. Seja X a variável aleatória que representa a moeda escolhida e Y a que representa o número de vezes que saiu cara nos dois lançamentos. (a) Calcule a probabilidade conjunta das duas variáveis. (b) Calcule as probabilidades marginais da variável Y. (c) Calcule as probabilidades condicionais p(x Y ) 8. Um dado é lançado uma vez. Se o resultado for 1,2,3 ou 4, uma moeda é lançada; se o resultado do lançamento do dado for 5 ou 6, são lançadas duas moedas. (a) Qual o valor expectável do número de vezes que sai cara no lançamento da ou das moedas? (b) Calcule as probabilidades conjuntas do resultado do lançamento do dado (considere apenas os dois casos descritos) e do número de vezes que sai cara no lançamento da ou das moedas.

15 3 IGNORÂNCIA E INFORMAÇÃO 15 3 Ignorância e informação Antes de continuar devemos começar por definir uma forma, objectiva e quantitativa, de medir a informação. 3.1 Como medir a informação A informação que recebemos sobre um determinado assunto reduz a nossa ignorância sobre esse assunto. A quantidade de informação que recebemos é igual à redução de ignorância que dela resulta. Mais concretamente, imaginemos que partimos com uma quantidade de ignorância H i e que, após recebermos informação, a ignorância se reduz a H f. A quantidade de informação que recebemos foi então: I = H i H f. (8) O problema que agora se põe é, obviamente, o de saber como medir, objectiva e quantitativamente, a nossa ignorância sobre determinado assunto. 3.2 Como medir a ignorância Em primeiro lugar, note-se que a nossa ignorância sobre determinado assunto pode sempre ser representada por uma variável aleatória, ou um conjunto de variáveis aleatórias. Por exemplo, o partido que ganhará as próximas eleições (obviamente desconhecido, por enquanto) pode ser representado por uma variável aleatória cujos valores são os nomes dos partidos a eleger. Que valor é que a variável tomará, não sabemos, embora haja possibilidades mais prováveis e menos prováveis, identificadas pelos resultados de anteriores eleições, estudos de opinião, etc. De igual modo, se ignoramos o número de jogadores de cada equipa num jogo de futebol, podemos representá-lo através de uma variável aleatória que toma valores inteiros, e atribuir probabilidades aos vários valores possíveis (2). A nossa ignorância pode não ser representável por uma variável discreta como as que temos consideramos nestes dois exemplos. Por exemplo, podemos representar através de uma variável aleatória contínua a nossa incerteza sobre a distância que poderemos percorrer com o depósito de combustível do automóvel já na reserva. Ou pode acontecer que uma variável aleatória apenas (contínua ou não) não seja suficiente para descrever a nossa ignorância. Por exemplo, para caracterizar a nossa ignorância face ao resultado das próximas eleições legislativas e presidenciais. Seja como for, deve ser claro destes exemplos que podemos sempre usar variáveis aleatórias para descrever a nossa incerteza, ou ignorância, relativamente a um dado assunto ou objecto de estudo. Por isso, vamos daqui em diante considerar o problema da medição da incerteza sempre em associação a variáveis aleatórias abstractas, sem nos referirmos a situações concretas e específicas que estabelecem relações entre essas variáveis (2) Fazendo, por exemplo, um raciocício do tipo: vi um bocado de um jogo na televisão, pareceram-me cerca de vinte jogadores, dez para cada lado... Digamos que as probabilidades para o número de jogadores que formam uma equipa de futebol são p(8) = 0,05, p(9) = 0,1, p(10) = 0,25, p(11) = 0,3, p(12) = 0,25, p(13) = 0,05, e todas as outras nulas.

16 3 IGNORÂNCIA E INFORMAÇÃO 16 aleatórias e as limitações do nosso conhecimento. O formalismo tem menor dificuldade técnica se considerarmos apenas variáveis aleatórias discretas, pelo que apenas essas serão consideradas Três requisitos a satisfazer pela medida da ignorância Vamos de seguida estabelecer três requisitos que devem ser satisfeitos por qualquer definição quantitativa de incerteza razoável. 1. Se forem equiprováveis, quanto mais possibilidades houver, maior incerteza Consideremos, por exemplo, uma eleição numa associação recreativa, na associação académica ou num órgão administrativo da Universidade, à qual concorra apenas uma lista; e consideremos outra eleição similar, mas na qual concorram duas (ou três, ou quatro...) listas, com probabilidades semelhantes de vencerem a eleição. Em que situação consideramos maior a incerteza (ou ignorância relativamente ao resultado da votação)? No primeiro caso, em que há apenas uma possibilidade (a lista única vence com certeza) nem podemos falar de incerteza: ela deve aí ter o valor zero. No caso em que há duas listas com probabilidades semelhantes, a incerteza face ao resultado da votação já não é nula, mas é menor do que se ouver três, quatro ou cinco listas, se todas tiverem um número semelhante de apoiantes. 2. Para um dado número de possibilidades, é maior a incerteza se elas forem equiprováveis Consideremos dois dados de seis faces. O primeiro é um dado normal, em que os vários valores saem com igual probabilidade; o segundo está adulterado, de forma que o seis sai mil vezes mais frequentemente do que os restantes valores. Associada ao lançamento do primeiro dado há alguma incerteza, pois não conseguimos prever de antemão o resultado do lançamento. Em rigor, também não podemos prever com toda a certeza o resultado do lançamento do dado adulterado, mas convenhamos que este resultado é muito menos incerto do que o do lançamento do dado equilibrado. Temos a certeza, quase absoluta, de que no lançamento do segundo dado obteremos um seis. O lançamento dado equilibrado tem associada uma maior incerteza porque as probabilidades dos seus resultados são todas iguais, ao contrário do que acontece com as dos do segundo. 3. A incerteza associada a duas variáveis independentes é igual à soma das incertezas associadas a cada uma delas Sejam X e Y duas variáveis aleatórias independentes. Sejam H(X) e H(Y ) as incertezas associadas a cada uma delas e seja H(XY ) a incerteza associada ao conjunto das duas. Se as duas variáveis são independentes, saber tudo sobre uma delas não reduz em nada a incerteza relativamente à outra. Ou seja, subtraindo à incerteza conjunta a incerteza de uma das variáveis resta ainda a incerteza relativa à outra: a incerteza conjunta é então a soma das incertezas. Pode demonstrar-se (veja no Apêndice B) que estes requisitos são suficientes para definir a medida de incerteza. Aqui, tentaremos apenas chegar, por tentativas mais ou menos inspiradas, a essa medida.

17 3 IGNORÂNCIA E INFORMAÇÃO 17 Tentativa 1: A incerteza é o número de possibilidades: H1 (X) = N X O número de valores que uma variável aleatória pode assumir satisfaz o primeiro requisito imposto a uma medida de incerteza (ou seja, que ela aumente com o aumento de possibilidades) mas não satisfaz os restantes. Em primeiro lugar, não entra em linha de conta com as probabilidades de ocorrência dos vários resultados, logo, não pode dar conta do segundo requisito (que a entropia seja máxima quando as probabilidades forem iguais). Em segundo lugar, dadas duas variáveis X e Y, se N X e N Y forem os respectivos números de possibilidades, a variável conjunta XY pode assumir N X N Y resultados. Se associamos o número de possibilidades à incerteza então a incerteza conjunta de duas variáveis seria o produto das incertezas e não a soma, como impõe o terceiro requisito. Esta contradição com o terceiro requisito tem ainda outro aspecto. Do terceiro requisito pode deduzir-se (ver o Apêndice B) que a incerteza associada a um acontecimento certo (ou seja, a uma variável aleatória com apenas um resultado possível) é nula. Mas nesta primeira tentativa, a função de incerteza não se anula nem para acontecimentos certos. Parte das insuficiências desta tentativa podem resolver-se introduzindo logaritmos (3), como veremos já a seguir. Consideremos então a Tentativa 2: A incerteza é o logaritmo do número de possibilidades: H2 (X) = log N X Esta nova tentativa satisfaz ainda o primeiro requisito, uma vez que as funções logaritmo são monótonas crescentes: quanto mais possibilidades, maior o valor do logaritmo, logo, maior a incerteza. É possível também satisfazer o terceiro requisito. Como o logaritmo do produto de dois números é a soma dos logaritmos de cada um, considerando de novo as duas variáveis independentes X e Y a que nos referimos acima, temos H 2 (XY ) = log(n X N Y ) = log N X + log N y = H 2 (X) + H 2 (Y ), que é justamente o o que se pretende. Além disso, uma vez que log 1 = 0, resulta nula a incerteza associada a um acontecimento certo. Apesar de satisfazer os requisitos 1 e 3, esta segunda tentativa não satisfaz o segundo requisito. De facto, e como já acontecia para a tentativa 1, esta definição de incerteza considera-a apenas como função do número de possibilidades, não tendo em conta as suas probabilidades. Mesmo não sendo aceitável como função de incerteza, esta segunda sugestão pode ser escrita numa forma inspiradora para novas tentativas. Consideremo-la nos casos em que as várias possibilidades são equiprováveis. Podemos escrever H 2 (X) = log N X = log 1 N X = N X 1 N X log 1 = N X k=1 1 log 1 N X N X Mas 1/N X é a probabilidade de ocorrência de cada um dos N X resultados possíveis. Então, considerando apenas situações associadas a variáveis (3) Alguns leitores poderão beneficiar de uma leitura do Apêndice A, sobre as propriedades das funções logarítmicas, antes de continuar. N X

18 3 IGNORÂNCIA E INFORMAÇÃO 18 aleatórias com distribuições equiprováveis, a tentativa 2 para uma definição de incerteza pode escrever-se como H 2 (X) = N X k=1 p k log p k. Será esta uma forma aceitável para a medida da ignorância, mesmo em casos em que a distribuição de probabilidades não é uniforme? Vejamos. Tentativa 3: H3 (X) = p k log p k Apliquemos esta tentativa para o caso de uma variável aleatória com n valores possíveis equiprováveis. Então a probabilidade de cada valor é p k = 1/n, de forma que a incerteza se reduz a n n 1 H 3 = p k log p k = n log 1 n = log 1 n k=1 = log n. Assim, vemos que a incerteza aumenta se aumentar o número de possibilidades, conforme o ditado pelo requisito 1. Relativamente ao requisito 2, consideremos o caso particular de uma variável aleatória que pode apenas assumir dois valores, com probabilidades p e q = 1 p. A incerteza associada a esta variável aleatória é k=1 H 3 = p log p (1 p) log(1 p). O gráfico desta função é o apresentado na Figura 3. Como se pode ver, a incerteza é máxima quando p = 1/2, ou seja, quando os dois resultados possíveis têm a mesma probabilidade. Ou seja, no caso de haver apenas H(p) p Figura 3: Função de incerteza associada a uma variável aleatória com dois resultados possíveis, como função da probabilidade p de um deles. dois resultados possíveis, esta definição de probabilidade satisfaz também

19 3 IGNORÂNCIA E INFORMAÇÃO 19 o requisito 2. É possível demonstrar que isso se verifica também em geral, para variáveis aleatórias com mais possibilidades, mas deixamos essa demonstração para o Apêndice B. Por fim, verifiquemos a concordância com o requisito 3. Sejam X e Y duas variáveis aleatórias independentes, ( ) ( ) x1 x X = 2... x N y1 y Y = 2... y M. p 1 p 2... p N q 1 q 2... q M Sejam p i, 1 i N e q j, 1 j M, respectivamente, as probabilidades de ocorrência dos valores particulares X = x i e Y = y j. Seja ainda P ij P (X = x i Y = y j ) a probabilidade conjunta associada às duas variáveis. Uma vez que as duas variáveis são independentes, temos P ij = p i q j. Podemos então escrever a entropia conjunta das duas variáveis como M M H 3 (XY ) = P ij log P ij = p i q j log p i q j = M p i q j [log p i + log q j ] M M = p i q j log p i p i q j log q j = ( N i=1 p i log p i ) M j=1 q j Mas p i = q j = 1, de forma que obtemos i=1 ( N i=1 p i ) M H 3 (XY ) = p i log p i q j log q j = H 3 (X) + H 3 (Y ), j=1 M q j log q j que é justamente o exigido pelo requisito 3. A forma H 3 satisfaz então as três condições impostas a uma medida da incerteza. No Apêndice B provamos que é a única função que pode satisfazer essas três condições. Acordemos então em chamar incerteza, ignorância, ou entropia associada a uma variável aleatória X com distribuição de probabilidades p i, 1 i N à quantidade H(X) = p i log p i. (9) i=1 Resta ainda considerar a escolha da base para o cálculo dos logaritmos. A escolha da base corresponde, simplesmente, à escolha das unidades com que exprimimos a incerteza. No contexto da teoria da informação é praticamente j=1

20 3 IGNORÂNCIA E INFORMAÇÃO 20 universal medir-se a incerteza (e, por conseguinte, a informação, que não é mais do que a redução de incerteza) em bits, opção que corresponde à utilização de logarimos de base 2. Nestes apontamentos, é também seguida esta opção, que, repito, é praticamente universal neste contexto. Assim, expressões como log x devem sempre ser entendidas como log 2 x. Problemas 1. Calcule a incerteza associada ao resultado do lançamento de uma moeda. 2. Calcule a incerteza associada ao resultado do lançamento de um dado. 3. Calcule a incerteza associada à soma dos resultados do lançamento de dois dados. 4. O boletim meteorológico prevê a ocorrência de chuva num determinda dia com probabilidade 0,74. Qual o valor da entropia associada à ocorrência (ou não ocorrência) de chuva nesse dia? 5. O sr. R.I. Caço é CEO de três grandes empresas: a Macroflops, a SemiPronto e a Esmifros. Por essa razão está sempre a saltar de sede para sede. Analizado o seu dia-a-dia, constatou-se que ele passa 35% do seu tempo de trabalho na Macroflops, 30% na Semipronto, 20% na Esmifros e ainda 15% do seu tempo laboral noutros locais, como os ministérios que tutelam as actividades das suas empresas, em reuniões com clientes e fornecedores, etc. Qual o valor da incerteza associada à localização (Macroflops, SemiPronto, Esmifros ou outra) do sr. R.I. Caço num determinado instante? 3.3 Significado intuitivo da entropia O resultado de uma experiência aleatória é tanto mais surpreendente quanto mais improvável for. Para dar uma expressão quantitativa ao conceito de surpresa associado ao resultado de uma experiência, podemos defini-la como o simétrico do logaritmo da probabilidade desse resultado: S = log p. Quantificar assim a surpresa é razoável: quanto maior o valor da probabilidade de um evento, menor a surpresa que ele causa; acontecimentos certos (p = 1) causam uma surpresa nula; acontecimentos quase impossíveis geram grande surpresa (no limite da impossibilidade [p = 0], a surpresa é infinita). Usando esta medida de surpresa, podemos reescrever a incerteza associada a uma variável aleatória como H(X) = p k log p k = p k S k, k k onde a soma é extendida a todos os valores possíveis da variável aleatória em questão. Mas reconhecemos no lado direito da última igualdade o valor expectável da surpresa causada pelo conhecimento do valor assumido variável aleatória. Assim, a entropia associada a uma variável aleatória é o valor expectável da surpresa que o seu conhecimento causa. Um segundo significado intuitivo da entropia está relacionado com o Teorema da codificação sem ruído que estudaremos mais adiante. Suponhamos que pretendemos saber que valor uma determinada variável aleatória assumiu, e que

21 3 IGNORÂNCIA E INFORMAÇÃO 21 para o fazer podemos apenas colocar questões de resposta sim/não a uma pessoa que conhece o dito valor. O numero de questões que devemos colocar para obter o conhecimento que pretendemos pode ser maior ou menor, dependendo do acaso. Podemos obter a resposta que pretendemos logo à primeira, ou podem ser necessárias muitas perguntas. O valor expectável do número de perguntas que temos que fazer esse depende apenas da estratégia usada (que pergunta fazer de cada vez) e da variável aleatória. Verifica-se, no entanto que, qualquer que seja a estratégia, há um mínimo para o valor expectável do número de perguntas de resposta sim/não que devemos fazer para determinarmos o resultado de uma experiência aleatória, e esse mínimo é exactamente a entropia associada à experiência aleatória. Ilustremos com um exemplo estas considerações. Suponhamos que pretendemos conhecer o resultado obtido no lançamento de um dado, para o que fazemos à pessoa que o lançou um conjunto de perguntas de resposta sim/não. Uma estratégia possível consiste em perguntar se saiu o 1. Se a resposta for sim, temos o assunto resolvido, com apenas uma pergunta; se a resposta for não perguntamos de seguida se saiu o 2, e assim sucessivamente. A Figura 4 representa, no esquema da direita, a sequência de perguntas a efectuar. Note-se Figura 4: Duas estratégias para determinar com perguntas de resposta sim/não o resultado do lançamento do dado. Dentro dos círculos está o número de perguntas necessário para se obter cada determinação. que com esta estratégia, o resultado 1 é determinado fazendo apenas uma pergunta, o 2 com duas perguntas, o 3 com três perguntas, o 4 com quatro e o 5 e o 6 ambos com cinco perguntas. Uma vez que a probabilidade de qualquer destes resultados é 1/6, o valor expectável do número de perguntas que devemos fazer para obter a resposta é N = 6 k=1 p k N k = 1 ( ) 3, A Figura 4 mostra também, à esquerda, o esquema de outra estratégia, outra sequência de perguntas. Em vez de se começar perguntando se o resultado é um valor particular, perguntamos se é menor do que 4, ou seja, se é 1, 2 ou 3. Daí em diante, o esquema é semelhante ao da primeira estratégia. O valor expectável do número de perguntas que devemos fazer para determinar o

22 3 IGNORÂNCIA E INFORMAÇÃO 22 resultado do lançamento do dado é, com esta nova estratégia, N = 6 k=1 p k N k = 1 ( ) 2, Esta segunda estratégia é bastante mais eficiente do que a primeira: com menos perguntas em média, conseguimos obter o conhecimento pretendido. Mas agora colocam-se as questões: haverá estratégias ainda mais eficientes? Haverá limites para a eficiência? Não sei a resposta à primeira questão, mas sei a da segunda: há limites para a eficiência; o valor mínimo do número médio de perguntas de resposta sim/não que devemos colocar para determinar o valor de uma variável aleatória é sempre maior ou igual do que a entropia associada a essa variável aleatória. No caso que aqui consideramos, tendo em conta que a entropia associada ao resultado do lançamento de um dado é log 6 2,585 bits, vemos que a performance da segunda estratégia se aproxima já bastante do valor óptimo. 3.4 Entropia conjunta e entropia condicional Dadas duas variáveis aleatórias X e Y, não necessariamente independentes, tais que X pode tomar N valores possíveis com probabilidades p 1, p 2,..., p N e pode tomar M valores possíveis com probabilidades q 1, q 2,..., q M. A variável conjunta pode tomar N M valores possíveis com as probabilidades P ij P (X = x i Y = y j ), 1 i N, 1 j M. A entropia associada à variável conjunta XY é chamada a entropia conjunta das duas variáveis e é então dada por H(XY ) = M P ij log P ij. (10) Exemplo Sejam X o resultado do lançamento de uma moeda ( cara ou coroa ) e Y o resultado do lançamento de um dado (1, 2, 3, 4, 5, ou 6). A variável XY pode tomar 12 resultados: ( cara e 1), ( cara e 2),..., ( cara e 6), ( coroa e 1),..., ( coroa e 6). Como as duas variáveis são independentes, as probabilidades destes doze valores são iguais ao produto das probabilidades dos valores de X e de Y que o formam, ou seja, neste caso tão simples, 1/2 1/6 = 1/12. A entropia conjunta destas duas variáveis é então H(XY ) = coroa i= cara j=1 6 P ij log P ij = log 1 = log Note-se que a entropia conjunta destas duas variáveis é a soma das suas entropias marginais. Com efeito, log 12 = log(2 6) = log 2 + log 6, que, como pode verificar por si, são as entropias associadas ao lançamento da moeda e do dado, respectivamente. No exemplo que acabámos de estudar, a entropia conjunta das duas variáveis é igual à soma das entropias marginais de cada uma delas. Isso deve-se ao facto de