SEGUNDO Massey [1] a história da criptologia mostra
|
|
- Ana Luísa Aleixo Monsanto
- 6 Há anos
- Visualizações:
Transcrição
1 REVISTA DE TECNOLOGIA DA INFORMAÇÃO E COMUNICAÇÃO, NÚMERO 1, OUTUBRO Aspectos de Segurança de Cifras de Chave-Secreta Valdemar C. da Rocha Jr. Grupo de Pesquisa em Comunicações, Departamento de Eletrônica e Sistemas Universidade Federal de Pernambuco, Recife, Brasil vcr@ufpe.br Resumo Este artigo apresenta uma abordagem tutorial sobre aspectos de segurança de cifras de chave-secreta, considerando ferramentas da teoria da informação aplicadas à substituição homofônica. I. INTRODUÇÃO SEGUNDO Massey [1] a história da criptologia mostra que a maioria dos sistemas de chave-secreta que foram quebrados, o foram explorando o afastamento da estatística do texto-claro daquela de uma seqüência completamente aleatória. Substituição homofˆonica é uma antiga técnica criptográfica para reduzir a redundância em uma mensagem a ser cifrada, ao custo de uma expansão do texto claro. Dito de maneira equivalente, a substituição homofônica visa converter uma seqüência de texto-claro, contendo redundância, em uma seqüência aleatória. Em 1988, Günther [2] introduziu uma importante generalização da substituição homofônica, a qual é denominada substituição homofˆonica de comprimentovariável, na qual os homofonemas, ou substitutos de uma letra em particular na mensagem, podem ser representados por palavras com comprimentos diferentes e possuirem diferentes probabilidades de ocorrência. Günther mostrou que esta técnica consegue remover toda a redundância da sequência homofonicamente codificada, produzindo o que Shannon denominou de uma cifra fortemente-ideal [3] e ao mesmo tempo reduzir a expansão do texto claro. O objetivo deste artigo é prover um tutorial revendo o tratamento de teoria da informação para o tipo de substituição homofônica de Günther, à luz das referências [1] e [4]. Salientamos, no entanto, que a abordagem aqui tratada é aplicável apenas a fontes cuja caracterização estatística é conhecida. Existem técnicas de substituição homofônica aplicáveis a fontes cuja caracterização estatística é desconhecida, ou seja, técnicas universais de substituição homofônica [5], mas que não serão consideradas no presente artigo. Na Seção II, apresentamos um tratamento cuidadoso do conceito de Shannon de cifra fortemente-ideal, por este prover a motivação para o uso de qualquer tipo de substituição homofônica. Na Seção III apresentamos os principais conceitos da substituição homofônica convencional e a terminologia associada. Na Seção IV apresentamos a definição da substituição homofônica de Günther, ou substituição homofônica de comprimento-variável, juntamente com a condição necessária e suficiente para tal substituição ser perfeita [1], isto é, para criar uma seqüência completamente aleatória. Na Seção V mostramos o resultado surpreendente de que a substituição homofônica perfeita pode ser alcançada pela introdução de menos de 2 bits de entropia em cada letra da fonte que é codificada, Os resultados da teoria da informação usados neste artigo são bastante básicos e podem ser encontrados em qualquer bom livro texto sobre teoria da informação, por exemplo, o livro de Gallager [7]. Entretanto, para benefício do leitor, disponibilizamos estes principais resultados no apêndice. Reiterando o que dissemos há pouco, a técnica de codificação homofônica, aplicada a uma fonte de informação, consiste na substituição de cada símbolo da fonte por um ou mais substitutos, chamados homofonemas, em um alfabeto de cardinalidade maior que o da fonte. Isto é feito com o objetivo de decompor a probabilidade de cada símbolo da fonte de tal maneira que os homofonemas correspondentes pareçam ter sido gerados aleatoriamente. Cada substituto de um símbolo da fonte é representado, numa correspondência um-a-um, por uma sequência finita de variáveis aleatórias de tal modo a produzir variáveis aleatórias estatisticamente independentes e identicamente distribuídas. A distribuição de probabilidade destas variáveis aleatórias em geral é uniforme, porém em outras situações pode haver a necessidade de se trabalhar com uma distribuição de probabilidades distinta da uniforme. Neste artigo iremos considerar sistemas binários e distribuições de probabilidade uniformes por uma questão de simplicidade e de utilidade prática, porém os procedimentos descritos são aplicáveis a alfabetos de codificação D-ários, nos quais D representa um número inteiro positivo maior que 2. II. CIFRAS FORTEMENTE-IDEAIS E INQUEBRÁVEIS O objetivo da substituição homofˆonica pode ser explicado considerando um sistema de cifra de chave-secreta como mostra o diagrama da Figura 1. Para facilitar a notação, denotemos por X n e Y n as sequências [X 1, X 2,...,X n ] e [Y 1, Y 2,...,Y n ] de texto-claro e de texto-cifrado, respectivamente. Como é costume e como a Figura 1 sugere, nós supomos sempre que a chave-secreta Z é estatisticamente independente da sequência de texto-claro X n para todo n. Chamaremos a cifra de não-expansiva se os dígitos do textoclaro e os dígitos do texto-cifrado assumirem valores no mesmo alfabeto D-ário e existir uma sequência crescente infinita de números inteiros positivos n 1, n 2, n 3,... tais que, quando Z é conhecido, X n e Y n determinam univocamente um ao outro para todo n S = {n 1, n 2, n 3,...}. Nós chamaremos também uma sequência de variáveis aleatórias completamente aleatória se cada um dos seus dígitos for estatisticamente independente dos dígitos precedentes e for igualmente provável de assumir qualquer um dos seus D possíveis
2 15 REVISTA DE TECNOLOGIA DA INFORMAÇÃO E COMUNICAÇÃO, NÚMERO 1, OUTUBRO 2011 valores. A proposição a seguir é provada no Apêndice, através de argumentos elementares de teoria da informação. Proposição 1: Se a sequência de texto-claro cifrada por uma cifra de chave-secreta não-expansiva for completamente aleatória, então a sequência de texto-cifrado será também completamente aleatória e estatisticamente independente da chave-secreta. Y 1, Y 2,... Figura 1. Cifrador X 1, X 2,... Z Gerador de Chave Um sistema de cifra de chave-secreta. Fonte de Texto Claro Shannon [3] definiu a função equivocação de chave f(n) de um sistema de cifra de chave-secreta como sendo a entropia condicional da chave dados os primeiros n dígitos do textocifrado, isto é, f(n) = H(Z Y n ). A função equivocação de chave f(n) é portanto uma medida do número de valores da chave-secreta Z que são consistentes com os primeiros n dígitos do texto-cifrado. Pelo fato de f(n) só poder decrescer quando n cresce, Shannon chamou a cifra de ideal se f(n) se aproxima de um valor não-nulo quando n tende a infinito, e de fortemente-ideal se f(n) for constante, isto é, se H(Z Y n ) = H(Z) para todo n, que é equivalente à afirmação de que a sequência de texto-cifrado é estatisticamente independente da chave-secreta. A prova do corolário a seguir é imediata e é apresentada no Apêndice. Corolário 1: (da Proposição 1) Se a sequência de textoclaro cifrada por uma cifra de chave-secreta não-expansiva for completamente aleatória, então o sistema de cifra será fortemente-ideal, qualquer que seja a distribuição de probabilidade da chave-secreta. Virtualmente todas as cifras não-expansivas úteis possuem a propriedade, que chamaremos não-degeneração, que mudando o valor da chave-secreta Z, sem mudar o valor da sequência de texto-claro X n, mudará o valor da sequência de textocifrado para todo n suficientemente grande, exceto para uma pequeníssima fração (frequentemente 0) de possíveis valores da chave para quaisquer valores dados de X n. Equivalentemente, uma cifra não-expansiva é não-degenerativa se H(Y n X n ) H(Z) for verdadeira para todo n suficientemente grande e para todas as distribuições de probabilidade de X n, quando todos os valores possíveis da chave-secreta Z forem igualmente prováveis. Porém, como é mostrado no Apêndice, H(Y n X n ) = H(X n Y n ) (1) é verdadeira para todo n numa cifra não-expansiva quando a sequência de texto-claro X 1, X 2,... é completamente aleatória. A seguinte conclusão é imediata. Corolário 2: (da Proposição 1) Se a sequência de textoclaro cifrada por uma cifra de chave-secreta não-expansiva for completamente aleatória e todos os valores possíveis da chave Y 1, Y 2.. Cifrador Não-Expansivo Z Gerador de Chave X 1, X 2.. Codificador Homofônico U 1, U 2.. Fonte de Mensagens Figura 2. Uso de substituição homofônica dentro de um sistema de cifra de chave-secreta. forem igualmente prováveis, então a entropia condicional da sequência de texto-claro dada a sequência de texto-cifrado satisfará H(X n Y n ) H(Z) para n suficientemente grande. Este corolário implica em particular que, num ataque de apenas texto-cifrado, o criptoanalista não pode fazer melhor para encontrar X n que tentar advinhar aleatoriamente fazendo escolhas entre as possibilidades dos valores da chave-secreta Z. Em outras palavras, o sistema de cifra é inquebrável em um ataque de apenas texto-cifrado quando o número de possíveis valores da chave-secreta é grande. O que foi visto até agora mostra que virtualmente toda cifra de chave-secreta não-expansiva pode ser usada como a cifra de um sistema de cifra inquebrável, desde que a fonte de textoclaro emita uma sequência completamente aleatória. Mas é precisamente o objetivo da substituição homofônica converter uma fonte que não é deste tipo em uma que o seja. Quando a codificação homofônica é perfeita, é então uma tarefa trivial a construção de sistemas de cifras de chave-secreta inquebráveis do tipo mostrado na Figura 2. III. SUBSTITUIÇÃO HOMOFÔNICA CONVENCIONAL Aqui e daqui por diante consideraremos a fonte de textoclaro da seção anterior como o resultado da codificação da verdadeira fonte de mensagens, cuja sequência de saída denotamos por U 1, U 2, U 3,..., na sequência de variáveis aleatórias X 1, X 2, X 3,.... Supomos que as variáveis aleatórias U i assumem valores num alfabeto de L letras, em que 2 L <. Salvo aviso em contrário, supomos que a fonte é sem-memória e estacionária ou, de modo equivalente, que U 1, U 2, U 3,..., é uma sequência de variáveis aleatórias L-árias estatisticamente independentes e identicamente distribuídas (i.i.d). O problema da codificação da verdadeira fonte de mensagens reduz-se então ao problema da codificação de uma única variável aleatória U = U 1. A fim de evitar complicações desnecessárias, supomos daqui por diante que todos os L valores de U têm probabilidade não-nula. Observamos que, quando L = D w para algum número inteiro positivo w e quando todos os L valores possíveis de U são igualmente prováveis, o esquema simples de codificação consistindo em alocar uma sequência distinta, dentre as D w sequências D-árias de comprimento w, para cada valor de U, torna a palavra-código X 1, X 2,..., X w completamente aleatória. Substituição homofˆonica convencional tenta alcançar este mesmo resultado, quando os valores de U não são igualmente prováveis, escolhendo quando possível um w
3 REVISTA DE TECNOLOGIA DA INFORMAÇÃO E COMUNICAÇÃO, NÚMERO 1, OUTUBRO apropriado, com D w > L, particionando as D w sequências D-árias de comprimento w em L subconjuntos, colocando estes sub-conjuntos em correspondência com os valores de U de tal maneira que o número de sequências em cada subconjunto seja proporcional à probabilidade do correspondente valor de U, e então escolhendo a palavra-código para um valor particular u de U através de uma escolha equiprovável no sub-conjunto de sequências que correspondem a u. Letras sucessivas da fonte de mensagens são independemente codificadas desta maneira. Quando este particionamento de sequências D-árias de comprimento w é possível, a palavracódigo X 1, X 2,..., X w é igualmente provável de ser qualquer uma das sequências D-árias de comprimento w de tal modo que a sequência X 1, X 2,...,X w é completamente aleatória. As diferentes palavras-código que representam o mesmo valor u de U são tradicionalmente chamadas de homofonemas de u, mas em breve usaremos esta terminologia num sentido ligeiramente diferente e mais fundamental. É fácil de ver que a substituição homofônica convencional, para a qual X 1, X 2,..., X w é completamente aleatório, é possível se e somente se cada valor u i de U tiver probabilidade n i /D w para algum número inteiro n i, em que n i representa o número de homofonemas que devem necessariamente ser alocados a u i. IV. SUBSTITUIÇÃO HOMOFÔNICA DE GÜNTHER A Substituição homofˆonica de comprimento variável introduzida por Günther [2] generaliza o esquema de substituição homofônica convencional, pelo fato das sequências D-árias usadas poderem ter comprimentos diferentes, e as sequências no subconjunto correspondente a um dado valor u de U poderem ser selecionadas com probabilidades diferentes como a palavra-código para u. O comprimento W da palavra-código X 1, X 2,...,X W para U pode ser assim uma variável aleatória. Para uma distribuição de probabilidade arbitrária para U, Günther [2] forneceu um algoritmo para tal substituição homofônica de comprimento variável com D = 2 que torna a palavra-código binária resultante completamente aleatória. Ele também observou que, quando L = 2 n, caso em que a codificação natural de um valor de U seria uma sequência binária de comprimento n, seu algoritmo forneceu algumas vezes um valor esperado de comprimento das palavras-código E(W) menor que n e assim seu algoritmo também realizava compressão de dados. A Figura 3 mostra um esquema de codificação com generalidade suficiente para incluir a substituição homofônica convencional e a substituição homofônica de comprimento variável, assim como também a codificação de fonte convencional, ou compressão de dados. Pelo termo canal homofˆonico da Figura 3, nos referimos a um canal sem memória cujo alfabeto de entrada {u 1, u 2,..., u L } coincide com o conjunto de possíveis valores de U, cujo alfabeto de saída {v 1, v 2,...} é finito ou infinito contável, e cujas probabilidades de transição P(V = v j U = u i ) possuem a propriedade de que para cada j existe exatamente um único i tal que P(V = v j U = u i ) 0. Nós consideraremos aqueles v j para os quais P(V = v j U = u i ) > 0 como sendo os homofonemas de u i, ao invés de considerar as palavras-código nas quais estes X 1,.. Figura 3. Codificador D-ário Sem-Prefixo V 1,... Canal U 1,... Homofônico Um esquema geral para substituição homofônica. Fonte de Mensagens L-ária v j são codificados como sendo os homofonemas. Pelo termo codificador D-ário sem prefixo da Figura 3, nos referimos a um dispositivo que aloca uma sequência D-ária para cada v j sob a restrição de que esta palavra-código não seja idêntica a uma outra palavra-código e nem forme o início, ou prefixo, de uma palavra-código mais longa. Esta restrição, que é satisfeita pelo esquema de codificação de Günther [2], assegura que, quando X 1, X 2,... é uma sequência de palavras-código, o final de cada palavra-código pode ser reconhecido sem precisar examinar nenhum dos símbolos seguintes desta sequência. É um fato conhecido em teoria da informação [7, pág. 49] que tal codificação é geral no sentido de que para qualquer código D-ário unicamente decodificável existe um código sem prefixo que possui exatamente os mesmos comprimentos de palavrascódigo. Quando o canal homofônico da Figura 2 é determinístico no sentido de que todas as probabilidades de transição são iguais a 1, de tal modo que podemos dizer que V = U, então a Figura 3 denota a situação usual de codificação de fonte, ou compressão de dados, considerada em teoria da informação. Quando o canal homofônico é não-trivial mas a codificação binária é trivialmente sem prefixo pelo fato de todas as palavras-código terem o mesmo comprimento m, ou seja, o código é um código de bloco, então a Figura 3 denota a situação da substituição homofônica convencional. No caso em que ambos, o canal homofônico é não-trivial e a codificação binária é sem prefixo não-trivial, então a Figura 3 denota a substituição homofônica como introduzida por Günther [2]. A Figura 4 fornece dois exemplos muito usados na literatura, do esquema de substituição homofônica genérico ilustrado na Figura 3, ambos para a mesma fonte binária de mensagens, ou seja, para L = 2. Em breve veremos que ambos esquemas na Figura 4 são perfeitos. O sistema na parte mais de cima desta figura exemplifica a substituição homofônica convencional usando sequências binárias de comprimento w = 2. O sistema na parte mais de baixo da Figura 4 ilustra a substituição homofônica de comprimento variável de Günther. Note que o esquema de comprimento variável tem um valor esperado de comprimento de palavra de E(W) = 3/2 dígitos comparado a E(W) = 2 para o esquema convencional. Esta redução no número de dígitos codificados é uma vantagem oferecida pela substituição homofônica de comprimento variável mesmo quando a substituição homofônica convencional perfeita for possível. Um esquema de substituição homofônica é definido como perfeito [1] se a sequência D-ária codificada X 1, X 2,... for completamente aleatória. Para o caso com fonte e canal sem memória considerado na Figura 3, isto é equivalente
4 17 REVISTA DE TECNOLOGIA DA INFORMAÇÃO E COMUNICAÇÃO, NÚMERO 1, OUTUBRO v 1 1 v 1 u 1 01 v 2 V v 2 1/3 10 v 3 v 3 u 2 1/3 11 P U (u 1 ) = 1/4 X 1, X 2 U v 4 Codificadores Binários Livres de Prefixo v 4 1/3 Canais Homofônicos 00 v 1 1 v 1 u 1 1 v 2 V v 2 2/3 U u 2 01 v 3 1/3 X 1, X 2 v 3 P U (u 2 ) = 3/4 Fonte de Mensagens Binária Sem-Memória P U (u 1 ) = 1/4 P U (u 2 ) = 3/4 Figura 4. Dois exemplos de substituição homofônica perfeita para a mesma fonte de mensagens, binária e sem memória. à condição de que a palavra-código X 1, X 2,..., X W para V = V 1 seja completamente aleatória. Daqui em diante todas as entropias serão assumidas como sendo em bits e todos os logaritmos serão entendidos como sendo na base 2. Proposição 2: Para o esquema de substituição homofônica da Figura 3 resulta H(U) H(V ) E(W)log D, (2) com igualdade à esquerda se e somente se o canal homofônico for determinístico, ou com igualdade à direita se e somente se o esquema de substituição homofônica for perfeito. Além disso, existe uma codificação D-ária de V, livre de prefixo, tal que o esquema é perfeito se e somente se P(V = v) for uma potência de D, cujo expoente é um número inteiro negativo, para todos os possíveis valores v de V. Quando esta condição for satisfeita, o esquema será perfeito se e somente se P(V = v i ) = D wi for verdadeiro para todos os valores v i de V, em que w i denota o comprimento da palavra-código D-ária alocada a v i. Prova: É um fato bem conhecido em teoria da informação que a expressão H(V ) E(W) log D é verdadeira para toda codificação D-ária de V livre de prefixo [7, pág. 50] e que a igualdade só pode ser alcançada se e somente se P(V = v) for uma potência de D cujo expoente é um número inteiro negativo, para todos os valores v de V. Além disso, a igualdade quando possível é alcançada por, e apenas por, um código D-ário livre de prefixo que aloca uma palavra-código de comprimento w para um valor v de V com P(V = v) = D w. É também bem conhecido [7, pág. 47] que X 1, X 2,...,X W é completamente aleatório para, e apenas para, tal código. Resta apenas verificar a igualdade à esquerda em (2). Pelo fato da saída V do canal homofônico determinar de modo único a entrada U, i.e., H(U V ) = 0, e porque H(U, V ) = H(U) + H(V U) = H(V ) + H(U V ), segue que H(V ) = H(U) + H(V U). (3) O fato de que H(V U) 0 agora nos dá a desigualdade à esquerda em (2). Esta desigualdade torna-se uma igualdade se e somente se H(V U) = 0, i.e., se e somente se a entrada U do canal também determinar de modo único a saída V do canal, que é equivalente a dizer que o canal homofônico é determinístico. Devido ao fato que, nos dois esquemas de substituição homofônica da Figura 4, os valores de V com probabilidade 1/4 são alocados palavras-código binárias (D = 2) de comprimento 2 e que ao único valor de V com probabilidade 1/2 é alocada uma palavra-código de comprimento 1, decorre da Proposição 2 que ambos os esquemas são perfeitos. Quando P(V = v i ) = D wi, para um número inteiro positivo w i, for verdadeiro pata todos os valores v i de V, é bem conhecido [7, pág. 48] que um código D-ário livre de prefixo pode ser construído no qual a palavra-código para v i tem comprimento w i, usando por exemplo a técnica empregada para a demonstração da condição de necessidade na desigualdade de Kraft [6, pág. 43]. V. SUBSTITUIÇÃO HOMOFÔNICA ÓTIMA Como mencionado anteriormente, a substituição homofônica é perfeita se os componentes X 1, X 2,...,X W do homofonema V forem estatisticamente independentes e equiprováveis. Em [1] a substituição homofônica foi definida como sendo ótima quando ela for perfeita e minimizar E(W), dentre substituições homofônicas perfeitas. Foi mostrado em [1, Proposição 3] que um esquema de substituição homofônica é ótimo se e somente se, para todo i, as probabilidades P V (v j ) = P V U (v j, u i ) = P V U (v j u i )P U (u i ), j 1, dos homofonemas forem iguais, em alguma ordem, aos termos da decomposição de P U (u i ) como uma soma finita de potências de 2, cujos expoentes são números inteiros negativos, quando isso for possível, ou como uma tal soma infinita em caso contrário. Em [1], o limitante superior H(V U) < 2 bits, independente de L, foi afirmado para a substituição homofônica ótima, porém a prova lá apresentada foi falaciosa. Posteriormente, em [4] foi apresentada uma prova válida deste resultado e além disso os autores fortaleceram o referido limitante superior, incluindo a sua dependência no número de termos da expansão de P U (u i ). Teorema 1: (Rocha-Massey [4]) Na substituição homofônica ótima de uma variável aleatória L-ária U, a entropia condicional H(V U) do homofonema V dado U é menor que 2 bits. Prova: Sejam p 1, p 2, p 3,... valores, possivelmente numa quantidade infinita, dos termos não-nulos em ordem decrescente da distribuição de probabilidade condicional P V U (. u i ). Pelo fato da substituição homofônica ser ótima, temos p j+1 p j /2 para todo j 1, o que implica em 1/2 < p 1 1. É suficiente considerarmos 1/2 < p 1 < 1. Denotando por H(V U = u i ) = h(p 1, p 2,...) a entropia em bits da distribuição de probabilidade (p 1, p 2, p 3,...), resulta H(V U = u i ) = h(p 1 ) + (1 p 1 )h(p 2 /(1 p 1 ), p 3 /(1 p 1 ),...). A condição 1/2 < p 1 < 1 implica que H(V U = u i ) < h(q 1, q 2,...)
5 REVISTA DE TECNOLOGIA DA INFORMAÇÃO E COMUNICAÇÃO, NÚMERO 1, OUTUBRO em que (q 1, q 2, q 3,...) = (p 2 /(1 p 1 ), p 3 /(1 p 1 ),...). Desse modo temos q j+1 q j /2 para todo j 1, que implica em termos 1/2 < q 1 1. A iteração deste argumento produz H(V U = u i ) < ( (1 + 1 ( ))) = 2, (4) 2 o qual implica em termos H(V U) < 2 bits. Suponhamos agora que P U (u i ) = N i /2 r para números inteiros positivos N i e r, com N i um número ímpar. É suficiente considerarmos 3 N i < 2 r, que implica em r 2 e que o número, n i, de termos na expansão de N i /2 r como uma soma de potências distintas de 2, cujos expoentes são números inteiros negativos, satisfaz 2 n i r. Isto por sua vez implica que o número de termos na soma em (4) é n i 1 e portanto que esta soma é no máximo 2 2 (ni 2). Ficou assim provado o seguinte limitante, o qual para n = 2 implica H(V U) < 1 bit. Teorema 2: (Rocha-Massey [4]) Na substituição homofônica binária ótima de uma variável aleatória L- ária U tal que P U (u i ) possa ser expressa como uma soma contendo no máximo n potências inteiras negativas de 2 distintas, para i = 1, 2,..., L, a entropia condicional H(V U) do homofonema V dado U satisfaz H(V U) < 2 2 (n 2) se n > 1 e H(V U) = 0 se n = 1. AGRADECIMENTO bits, O autor agradece o apoio parcial recebido do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), Projeto / A. Teoria da Informação VI. APÊNDICE Neste apêndice apresentamos um breve resumo de teoria da informação, contento a definição de entropia, de entropia condicional, de entropia conjunta e de informação mútua média. Seja X uma variável aleatória discreta, assumindo valores no conjunto {x 1, x 2,..., x K } com probabilidade P X (x i ), 1 i K. Definição 1: A entropia de Shannon, associada à variável aleatória X, é definida pela expressão K H(X) = P X (x i )log P X (x i ), para P X (x i ) 0. (5) i=1 Como consequência da definição de entropia resultam as desigualdades 0 H(X) log K, com igualdade à esquerda quando um dos valores de X ocorre com probabilidade 1 e os demais valores têm probabilidade igual a zero, ou com igualdade à direita quando P X (x i ) = 1/K, 1 i K. Seja Y uma variável aleatória discreta, assumindo valores no conjunto {y 1, y 2,...,y J } com probabilidade P Y (y j ), 1 j J. Definição 2: A entropia condicional H(X Y ) é definida pela expressão H(X Y ) = K i=1 j=1 J P XY (x i, y j )log P X Y (x i y j ), para P XY (x i, y j ) 0. Definição 3: A entropia conjunta H(X 1 X 2... X N ) das variáveis aleatórias X 1, X 2,..., X N é definida pela expressão H(X 1 X 2... X N ) = K K... P(x i1,..., x in )log P(x i1,..., x in ), i 1=1 i N=1 para P(x i1,..., x in ) 0, na qual para simplificar a notação usamos P X1,...,X N (x i1,..., x in ) = P(x i1,...,x in ). A entropia conjunta H(X 1 X 2...X N ) pode ser expressa em função da entropia e da entropia condicional da seguinte forma H(X 1 X 2... X N ) = H(X 1 ) + H(X 2 X 1 ) + + H(X N X 1... X N 1 ). Definição 4: A informação mútua média I(X; Y ), entre as variáveis aleatórias X e Y, é definida pela expressão I(X; Y ) = K J i=1 j=1 P XY (x i, y j )log P Y X(y j x i ). (6) P Y (y j ) Usando a função entropia e a função entropia condicional, a informação mútua média entre as variáveis aleatórias X e Y pode ser expressa, equivalentemente, das seguintes formas I(X; Y ) = B. Prova da Proposição 1 H(Y ) H(Y X) = H(X) H(X Y ). A definição na Seção II de uma cifra não-expansiva é equivalente à condição que e H(Y n X n, Z) = 0 (cifragem) (7) H(X n Y n, Z) = 0 (decifragem) (8) para todo n S, quaisquer que sejam as estatísticas de X n e de Z. Assim, com a ajuda das identidades decorre que H(X n, Y n, Z) = H(X n ) + H(Z X n ) + H(Y n X n, Z) = H(Y n ) + H(Z Y n ) + H(X n Y n, Z), H(Y n ) = H(X n ) + H(Z X n ) H(Z Y n ). Porém a independência estatística entre a chave-secreta Z e a sequência de texto-claro X n é equivalente a H(Z X n ) = H(Z) de tal forma que
6 19 REVISTA DE TECNOLOGIA DA INFORMAÇÃO E COMUNICAÇÃO, NÚMERO 1, OUTUBRO 2011 H(Y n ) = H(X n ) + H(Z) H(Z Y n ) é verdadeira para todo n S. Assim, a desigualdade H(Z Y n ) H(Z), que se verifica com igualdade se e somente se Y n e Z forem estatisticamente independentes, implica H(Y n ) H(X n ) (9) para todo n S, com igualdade se e somente se Y n e Z forem estatisticamente independentes. A suposição de que X n é completamente aleatório nos leva a H(X n ) = n log D bits e assim implica H(Y n ) n logd. Por outro lado, sabemos que Y n consistindo de n variáveis aleatórias D-árias implica em termos H(Y n ) n log D e que a igualdade somente ocorre se Y n for completamente aleatório. Assim, se X n for completamente aleatório, a igualdade é verificada em (9), que implica tanto que Y n é completamente aleatório como que Y n e Z são estatisticamente independentes para todo n S. Porém, a completa aleatoriedade de Y n e a sua independência estatística de Z implicam na total independência estatística das m variáveis aleatórias que compõem Y m e sua independência estatística de Z para todo m com 1 m < n. Pelo fato do conjunto S conter números inteiros positivos arbitrariamente grandes, decorre que a sequência de texto-cifrado Y 1, Y 2, Y 3,... é completamente aleatória e estatisticamente independente da chave Z, que é a afirmação da Proposição 1. C. Prova da expressão (1) para cifras não-expansivas A partir das identidades H(X n, Y n ) = H(X n ) + H(Y n X n ) = H(Y n ) + H(X n Y n ), e lembrando que se X n for completamente aleatório implica que Y n também será completamente aleatório, portanto H(Y n ) = H(X n ). Resulta assim que H(Y n X n ) = H(X n Y n ) será verdadeira para todo n numa cifra nãoexpansiva quando a sequência de texto claro for completamente aleatória. REFERÊNCIAS [1] H. N. Jendal, Y. J. B. Kuhn and J. L. Massey, An information-theoretic approach to homophonic substitution, pp in Advances in Cryptology-Eurocrypt 89 (Eds. J.-J. Quisquater and J. Vandewalle), Lecture Notes in Computer Science, No Heidelberg and New York: Springer, [2] Ch. G. Günther, A universal algorithm for homophonic coding, pp in Advances in Cryptology-Eurocrypt 88, Lecture Notes in Computer Science, No.330. Heidelberg and New York: Springer, [3] C. E. Shannon, Communication theory of secrecy systems, Bell System Tech. J., vol. 28, pp , Oct., [4] V. C. da Rocha Jr. and J. L. Massey, On the entropy bound for optimum homophonic substitution, Proc. IEEE International Symposium on Information Theory, Ulm, Germany, 29 June - 4 July, 1997, p.93. [5] D. R. Simões and V. C. da Rocha Jr., A versatile universal homophonic coding scheme. Tenth International Symposium on Communication Theory and Applications, Ambleside, Inglaterra, 2009, págs [6] N. Abramson, Information Theory and Coding, McGraw Hill, [7] R.G. Gallager, Information Theory and Reliable Communications, New York: Wiley, 1968.
2 Teoria da Informação
2 Teoria da Informação Neste capítulo apresentamos alguns conceitos básicos sobre Teoria da Informação que utilizaremos durante este trabalho. 2.1 Alfabeto, texto, letras e caracteres Um alfabeto Σ = (σ
Leia maisUm Esquema de Codificação Homofônica Universal Utilizando o Algoritmo LZW
Um Esquema de Codificação Homofônica Universal Utilizando o Algoritmo LZW Daniel da R. Simões e Valdemar C. da Rocha Jr. Resumo Este artigo pretende analisar uma aplicação da codificação de fonte em criptografia,
Leia maisCodificação de Huffman
Codificação de Huffman Bruna Gregory Palm 11 de setembro de 2017 A codificação de Huffman é um método de compressão que considera as probabilidades de ocorrência de cada símbolo no conjunto de dados a
Leia maisTeoria da Informação
Charles Casimiro Cavalcante charles@gtel.ufc.br Grupo de Pesquisa em Telecomunicações Sem Fio GTEL Programa de Pós-Graduação em Engenharia de Teleinformática Universidade Federal do Ceará UFC http://www.gtel.ufc.br/
Leia maisEntropia, Entropia Relativa
Entropia, Entropia Relativa e Informação Mútua Miguel Barão (mjsb@di.uevora.pt) Departamento de Informática Universidade de Évora 13 de Março de 2003 1 Introdução Suponhamos que uma fonte gera símbolos
Leia maisCanais discretos sem memória e capacidade do canal
Canais discretos sem memória e capacidade do canal Luis Henrique Assumpção Lolis 17 de outubro de 2013 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 1 Conteúdo 1 Canais
Leia maisCompressão e Codificação de Dados. Primeiro Exame e Segundo Teste
Compressão e Codificação de Dados. Primeiro Exame e Segundo Teste Mestrado em Engenharia Electrotécnica e de Computadores, IST 7 de Janeiro de 2012 Nome: Número: NOTAS: Exame (3 horas): tudo. Segundo teste
Leia maisEstudo sobre decodificação iterativa usando códigos de treliça
Revista de Engenharia e Pesquisa Aplicada, Volume 2, Número 1, 2016 Estudo sobre decodificação iterativa usando códigos de treliça Souza, I. M. M. Escola Politécnica de Pernambuco Universidade de Pernambuco
Leia maisCOMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO
COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2011 Introdução à Teoria de Informação Em 1948, Claude Shannon publicou o trabalho A A Mathematical Theory of Communications.
Leia maisSistemas discretos sem memória e codificação da fonte
Sistemas discretos sem memória e codificação da fonte Luis Henrique Assumpção Lolis 10 de setembro de 2013 Luis Henrique Assumpção Lolis Sistemas discretos sem memória e codificação da fonte 1 Conteúdo
Leia maisPrincípios Básicos de Teoria da Informação
Princípios Básicos de Teoria da Informação Teorema da Codificação de Fonte Teorema Fundamental de Shannon Até que limite é possível comprimir um conjunto de dados? Qual a maior taxa de transmissão de informação
Leia mais6 Inserção Seletiva de Nulos
6 Inserção Seletiva de Nulos 6.1 Introdução Neste capítulo será apresentado o algoritmo ADDNULLS - Inserção Seletiva de Nulos. Este algoritmo usa a técnica da esteganografia para esconder os símbolos codificados
Leia maisuniversidade federal de pernambuco departamento de estatística
soluções do o exercício escolar Teoria da Informação set./207 a) Qual a variável aleatória de maior incerteza? Surpreendentemente, há uma maior incerteza sobre a variável aleatória X, é definida apenas
Leia maisTE111 Comunicação Digital
TE111 Comunicação Digital Introdução à Teoria de Informação e Codificação de Fonte 15 de outubro de 2018 Introdução à Teoria de Informação Em 1948, Claude Shannon publicou o trabalho A Mathematical Theory
Leia maisProdutos de potências racionais. números primos.
MATEMÁTICA UNIVERSITÁRIA n o 4 Dezembro/2006 pp. 23 3 Produtos de potências racionais de números primos Mário B. Matos e Mário C. Matos INTRODUÇÃO Um dos conceitos mais simples é o de número natural e
Leia maisGBC083 - Segurança da Informação Aula 2 - Sigilo Perfeito. 28 de Março de 2016
GBC083 - Segurança da Informação Aula 2 - Sigilo Perfeito 28 de Março de 2016 Encriptação segura Meta: Independentemente de qualquer informação prévia que o atacante tem sobre o texto em claro, o texto
Leia maisTEORIA DE INFORMAÇÃO UM NANOCURSO
TEORIA DE INFORMAÇÃO UM NANOCURSO Max H. M. Costa Unicamp Set. 2016 Centenário de Shannon - SBrT - Santarém Dedicação: a memória de Claude Shannon Claude Shannon 1916-2001 matemático, engenheiro eletrônico,
Leia maisTÉCNICAS DE CODIFICAÇÃO DE SINAIS
TÉCNICAS DE CODIFICAÇÃO DE SINAIS COMPRESSÃO SEM PERDAS Evelio M. G. Fernández - 2010 Exemplo Símbolo Prob I II III IV A 1/2 00 0 0 0 B 1/4 01 11 10 01 C 1/8 10 00 110 011 D 1/8 11 01 1110 0111 Entropia
Leia maisCódigos perfeitos e sistemas de Steiner
CAPÍTULO 7 Códigos perfeitos e sistemas de Steiner Sistemas de Steiner são um caso particular de configurações (ou designs. Neste capítulo pretende-se apenas fazer uma breve introdução aos sistemas de
Leia maisTeoria da Informação
Charles Casimiro Cavalcante charles@gtel.ufc.br Grupo de Pesquisa em Telecomunicações Sem Fio GTEL Programa de Pós-Graduação em Engenharia de Teleinformática Universidade Federal do Ceará UFC http://www.gtel.ufc.br/
Leia maisSegundo Exame e Repescagem de Testes. Mestrado em Engenharia Electrotécnica e de Computadores, IST 25 de Janeiro de 2014
Compressão e Codificação de Dados Segundo Exame e Repescagem de Testes Mestrado em Engenharia Electrotécnica e de Computadores, IST 25 de Janeiro de 201 Nome: Número: NOTAS: 1. Exame (3 horas): tudo. Primeiro
Leia maisCompressão Sem Perdas: Codificações Huffman e Aritmética. Adelar da Silva Queiróz Marcelo Teixeira Thiago da Silva Sodré
Compressão Sem Perdas: Codificações Huffman e Aritmética Adelar da Silva Queiróz Marcelo Teixeira Thiago da Silva Sodré Compressão Sem Perdas (Lossless Data Compression) Refere-se a métodos de compressão
Leia maisUNIVERSIDADE FEDERAL DE PERNAMBUCO DEPARTAMENTO DE ESTATÍSTICA. Medida e Probabilidade
UNIVERSIDADE FEDERAL DE PERNAMBUCO DEPARTAMENTO DE ESTATÍSTICA Medida e Probabilidade Aluno: Daniel Cassimiro Carneiro da Cunha Professor: Andre Toom 1 Resumo Este trabalho contem um resumo dos principais
Leia maisGeração de uma Distribuição Discreta Usando Moedas Desbalanceadas
Geração de uma Distribuição Discreta Usando Moedas Desbalanceadas Danielle P. B. de A. Camara, Valdemar C. da Rocha Jr. e Cecilio Pimentel Resumo A geração eficiente de uma distribuição de probabilidade
Leia maisCOM29008 LISTA DE EXERCÍCIOS #
INSTITUTO FEDERAL DE SANTA CATARINA CAMPUS SÃO JOSÉ COORDENADORIA DE ÁREA DE TELECOMUNICAÇÕES ENGENHARIA DE TELECOMUNICAÇÕES COM98 LISTA DE EXERCÍCIOS # 8. Exercícios. [, 9.5] Um processo estocástico gaussiano,
Leia maisTeoria da Informação ( ) Exame de Recurso ( ) Resolução. (1 p), (1 p), p = H(0,4;0,4;0,2) = 1,522
Teoria da Informação (4-) Exame de ecurso (-7-). Canais discretos sem memória e p =,: esolução X -p p p -p Y W ε ε ε -ε -ε -ε Z Canal A Canal B Vamos representar P(X = i) por P(X i ), etc. PY ( ) = P(
Leia maisTeoria de distorção da taxa
Teoria de distorção da taxa Luis Henrique Assumpção Lolis 11 de outubro de 2013 Luis Henrique Assumpção Lolis Teoria de distorção da taxa 1 Conteúdo 1 Função discreta de distorção da taxa 2 Propriedades
Leia maisTEORIA ERGÓDICA, SISTEMAS DINÂMICOS E MEDIDAS INVARIANTES
TEORIA ERGÓDICA, SISTEMAS DINÂMICOS E MEDIDAS INVARIANTES Aluno: Juliana Arcoverde V. L. Ribeiro Orientador: Lorenzo Justiniano Díaz Casado Introdução A Teoria dos Sistemas Dinâmicos, ou mais exatamente
Leia maisEisencraft e Loiola 2.1 Probabilidade 37. Para resolver problemas de probabilidades são necessários 3 passos:
Eisencraft e Loiola 2.1 Probabilidade 37 Modelo matemático de experimentos Para resolver problemas de probabilidades são necessários 3 passos: a Estabelecimento do espaço das amostras b Definição dos eventos
Leia maisUniversidade de Pernambuco Escola Politécnica de Pernambuco
Universidade de Pernambuco Escola Politécnica de Pernambuco TV Analógica e Digital Codificação de Fonte Prof. Márcio Lima E-mail:marcio.lima@poli.br 12.06.2014 Introdução A principal função de um sistema
Leia maisINE5403 FUNDAMENTOS DE MATEMÁTICA DISCRETA
INE5403 FUNDAMENTOS DE MATEMÁTICA DISCRETA PARA A COMPUTAÇÃO PROF. DANIEL S. FREITAS UFSC - CTC - INE Prof. Daniel S. Freitas - UFSC/CTC/INE/2007 p.1/26 3 - INDUÇÃO E RECURSÃO 3.1) Indução Matemática 3.2)
Leia maisSM - Sistemas Multimédia CODIFICAÇÃO DE FONTE (parte 2) 4.º / 6.º semestre LEIC (verão 2016/2017)
SM - Sistemas Multimédia CODIFICAÇÃO DE FONTE (parte 2) 4.º / 6.º semestre LEIC (verão 2016/2017) Tópicos Propriedades dos códigos de fonte Código ótimo e código ideal Singularidade, descodificação única,
Leia mais4 C odigos de Huffman 4.1 Arvores de c odigo folhas os internos n ıvel altura Arvore bin aria arvore bin aria ordenada
4 Códigos de Huffman 4.1 Árvores de código Numa árvore qualquer, os nós que não têm filhos são chamados de folhas e os demais nós são chamados de nós internos. Se um nó de uma árvore é filho de outro,
Leia maisNúmeros Primos: onde estão? Por que encontrá-los? Ana Cristina Vieira MAT/UFMG. Primos
1 Números Primos: onde estão? Por que encontrá-los? Ana Cristina Vieira MAT/UFMG Primos Definição: Livro VII dos Elementos de Euclides de Alexandria (360 a.c - 295 a.c). Dado qualquer número inteiro n,
Leia maisCódigos de Permutação para Compressão de Dados e Modulação 13. Codificador de fonte. Decodificador. Figura 1.1: Modelo de um sistema de comunicações.
1 Introdução Neste trabalho, estamos interessados nos problemas da teoria de comunicações conhecidos como compressão de dados e modulação. Um modelo típico de um sistema de comunicações é mostrado na Fig.
Leia maisAula 10: Decidibilidade
Teoria da Computação Segundo Semestre, 2014 Aula 10: Decidibilidade DAINF-UTFPR Prof. Ricardo Dutra da Silva Definição 10.1. Um problema de decisão P é um conjunto de questões para as quais as respostas
Leia maisAula 10: Decidibilidade
Teoria da Computação Aula 10: Decidibilidade DAINF-UTFPR Prof. Ricardo Dutra da Silva Definição 10.1. Um problema de decisão P é um conjunto de questões para as quais as respostas são sim ou não. Exemplo
Leia maisAvaliação de Desempenho
Avaliação de Desempenho Aula passada Métricas, Técnicas, Erros Aula de hoje Conceitos importantes de probabilidade Como fazer a análise de desempenho? Modelos Matemáticos Modelos de Simulação Como fazer
Leia maisFACULDADE DE TALENTOS HUMANOS DEPARTAMENTO DE ENGENHARIA ELÉTRICA PROCEDIMENTOS EXPERIMENTAIS DE COMUNICAÇÃO DIGITAL II PARA TELECOMUNICAÇÃO
FACULDADE DE TALENTOS HUMANOS DEPARTAMENTO DE ENGENHARIA ELÉTRICA PROCEDIMENTOS EXPERIMENTAIS DE COMUNICAÇÃO DIGITAL II PARA TELECOMUNICAÇÃO PROF. ENG. ESP. ANTONIO CARLOS LEMOS JÚNIOR acjunior@facthus.edu.br
Leia maisAvaliação e Desempenho Aula 5
Avaliação e Desempenho Aula 5 Aula passada Revisão de probabilidade Eventos e probabilidade Independência Prob. condicional Aula de hoje Variáveis aleatórias discretas e contínuas PMF, CDF e função densidade
Leia maisCódigos Corretores de Erros e Cliques de Grafos
Códigos Corretores de Erros e Cliques de Grafos Natália Pedroza Jayme Szwarcfiter Paulo Eustáquio UFRJ/UERJ 2016 Natália Pedroza (UFRJ/UERJ) Códigos Corretores 2016 1 / 32 Apresentação Códigos corretores
Leia mais4.1. ESPERANÇA x =, x=1
4.1. ESPERANÇA 139 4.1 Esperança Certamente um dos conceitos mais conhecidos na teoria das probabilidade é a esperança de uma variável aleatória, mas não com esse nome e sim com os nomes de média ou valor
Leia maisÁrvores. Fabio Gagliardi Cozman. PMR2300 Escola Politécnica da Universidade de São Paulo
PMR2300 Escola Politécnica da Universidade de São Paulo Árvore: estrutura composta por nós e arestas entre nós. As arestas são direcionadas ( setas ) e: um nó (e apenas um) é a raiz; todo nó (exceto a
Leia maisTeoria dos Conjuntos. Matemática Discreta. Teoria dos Conjuntos - Parte I. Profa. Sheila Morais de Almeida DAINF-UTFPR-PG.
Matemática Discreta Teoria dos Conjuntos - Parte I Profa. Sheila Morais de Almeida DAINF-UTFPR-PG abril - 2017 Letras maiúsculas: conjuntos. Letras minúsculas: elementos do conjunto. Pertinência: o símbolo
Leia maisDado um inteiro positivo n, definimos U(n) como sendo o conjunto dos inteiros positivos menores que n e primos com n. Não é difícil ver que a
Exemplo (U(n)) Dado um inteiro positivo n, definimos U(n) como sendo o conjunto dos inteiros positivos menores que n e primos com n. Não é difícil ver que a multiplicação módulo n é uma operação binária
Leia maisAula de hoje Aula passada
Aula 2 Aula passada Logística, programação, regras do jogo Três problemas Monte Carlo to the rescue História das origens Monte Carlo na Computação Aula de hoje Espaço amostral Probabilidade Eventos Independência
Leia maisALGORITMO DE EUCLIDES
Sumário ALGORITMO DE EUCLIDES Luciana Santos da Silva Martino lulismartino.wordpress.com lulismartino@gmail.com PROFMAT - Colégio Pedro II 25 de agosto de 2017 Sumário 1 Máximo Divisor Comum 2 Algoritmo
Leia maisTeoria da Informação ( ) Exame de Recurso ( ) Resolução ( ) ( ) 2log2. log log
Teoria da Informação (-6) Exame de Recurso (4-7-6) Resolução. Função densidade de probabilidade das amostras de U é constante: b a b pu ( ) a b a pu ( ) = b a. a) h ( U ) = p ( u ) log du = log( b a )
Leia maisÁrvores. Thiago Martins, Fabio Gagliardi Cozman. PMR2300 / PMR3201 Escola Politécnica da Universidade de São Paulo
PMR2300 / PMR3201 Escola Politécnica da Universidade de São Paulo Árvore: estrutura composta por nós e arestas entre nós. As arestas são direcionadas ( setas ) e: um nó (e apenas um) é a raiz; todo nó
Leia maisAmostragem e distribuições por amostragem
Amostragem e distribuições por amostragem Carla Henriques e Nuno Bastos Departamento de Matemática Escola Superior de Tecnologia de Viseu Contabilidade e Administração População, amostra e inferência estatística
Leia maisAnálise de Algoritmos
Análise de Algoritmos Técnicas de Prova Profa. Sheila Morais de Almeida DAINF-UTFPR-PG julho - 2015 Técnicas de Prova Definição Uma prova é um argumento válido que mostra a veracidade de um enunciado matemático.
Leia maisTE802 Processos Estocásticos em Engenharia. Informação sobre a disciplina Notes. Processos Estocásticos em Engenharia Conteúdo Notes.
TE802 Processos Estocásticos em Engenharia Conceitos Básicos de Teoria de Probabilidade 7 de março de 2016 Informação sobre a disciplina Terças e Quintas feiras das 09:30 às 11:20 horas Professor: Evelio
Leia maisTeoremas de uma, duas e três séries de Kolmogorov
Teoremas de uma, duas e três séries de Kolmogorov 13 de Maio de 013 1 Introdução Nestas notas Z 1, Z, Z 3,... é uma sequência de variáveis aleatórias independentes. Buscaremos determinar condições sob
Leia maisTE802 Processos Estocásticos em Engenharia. Informação sobre a disciplina. TE802 Conceitos Básicos de Teoria de Probabilidade. Evelio M. G.
TE802 Processos Estocásticos em Engenharia Conceitos Básicos de Teoria de Probabilidade 23 de agosto de 2017 Informação sobre a disciplina Segundas e Quartas feiras das 09:30 às 11:20 horas Professor:
Leia maisNotas sobre minorantes de complexidade
Notas sobre minorantes de complexidade Fevereiro 2007 Armando B. Matos 1 Neste trabalho faremos uma introdução às aplicações da teoria da Informação aos problemas de complexidade mínima, isto é, à procura
Leia maisNivio Ziviani. Conjunto de transparências elaborado por Nivio Ziviani, Patrícia Correia e Fabiano C. Botelho
Tópicos em Recuperação de Informação 1 Nivio Ziviani 1 Conjunto de transparências elaborado por Nivio Ziviani, Patrícia Correia e Fabiano C. Botelho Tópicos em Recuperação de Informação - Nivio Ziviani
Leia maisUMA APLICAÇÃO DE CÓDIGOS CORRETORES DE ERROS EM CRIPTOGRAFIA
UMA APLICAÇÃO DE CÓDIGOS CORRETORES DE ERROS EM CRIPTOGRAFIA Valdemar C. da Rocha Jr. e David Lopes de Macêdo Grupo de Pesquisa em Comunicações - CODEC Departamento de Electrônica e Sistemas - UFPE Caixa
Leia maisNotas sobre Sequências e Cardinalidade (1)
1 / 11 Notas sobre e Cardinalidade (1) Anjolina Grisi de Oliveira Centro de Informática Universidade Federal de Pernambuco CIn-UFPE 2 / 11 Uma sequência é uma estrutura discreta usada para representar
Leia maisChamamos de evento qualquer subconjunto do espaço amostral: A é um evento A Ω.
PROBABILIDADE 1.0 Conceitos Gerais No caso em que os possíveis resultados de um experimento aleatório podem ser listados (caso discreto), um modelo probabilístico pode ser entendido como a listagem desses
Leia maisSílvio A. Abrantes. Uns pequenos truques que facilitam alguns cálculos de Códigos e Teoria da Informação
Sílvio A. Abrantes Livro de receitas. Receitas?! Uns pequenos truques que facilitam alguns cálculos de Códigos e Teoria da Informação Abril 00 Codificação aritmética: Representação binária de números reais
Leia maisEET-49 Comunicações II
EET-49 Comunicações II Parte 4 - Codificação sem perda de informação March 20, 2012 1 Introdução Realizar a codificação da fonte é representá-la da menor forma possível Se a utilização não permite a perda
Leia maisCódigos de blocos lineares. Outubro de 2017
Códigos de blocos lineares Outubro de 2017 Vamos introduzir alguns conceitos sobre códigos de blocos lineares. Definições: Deve-se assumir que a informação saída da fonte de informação é da forma binária
Leia mais1.4.2 Probabilidade condicional
M. Eisencraft 1.4 Probabilidades condicionais e conjuntas 9 Portanto, P(A B) = P(A)+P(B) P(A B) (1.2) Para eventos mutuamente exclusivos, P(A B) = e P(A)+P(B) = P(A B). 1.4.2 Probabilidade condicional
Leia mais1 O esquema de Alamouti: Diversidade na transmissão
1 O esquema de Alamouti: Diversidade na transmissão 1.1 O Caso de uma antena receptora A Figura?? mostra a representação em banda básica do esquema de Alamouti com diversidade na transmissão. O esquema
Leia maisNotas sobre os anéis Z m
Capítulo 1 Notas sobre os anéis Z m Estas notas complementam o texto principal, no que diz respeito ao estudo que aí se faz dos grupos e anéis Z m. Referem algumas propriedades mais específicas dos subanéis
Leia maisCOMPRESSÃO E CODIFICAÇÃO SEM PERDAS. Mauro Nogueira Mônica Festa Paulo Antiquera
COMPRESSÃO E CODIFICAÇÃO SEM PERDAS Mauro Nogueira Mônica Festa Paulo Antiquera Introdução Armazenamento ou transmissão compressão (compactação) de dados Compressão sem perdas Imagens médicas documentos
Leia maisFundamentos de Telecomunicações
Fundamentos de Telecomunicações LEEC_FT 4,5&6: Teoria da Informação Codificação de Fonte Professor Victor Barroso vab@isr.ist.utl.t Lição 4 Informação e Entroia Introdução Incerteza, robabilidade e informação
Leia maisINE5403 FUNDAMENTOS DE MATEMÁTICA DISCRETA
INE5403 FUNDAMENTOS DE MATEMÁTICA DISCRETA PARA A COMPUTAÇÃO PROF. DANIEL S. FREITAS UFSC - CTC - INE Prof. Daniel S. Freitas - UFSC/CTC/INE/2007 p.1/30 3 - INDUÇÃO E RECURSÃO 3.1) Indução Matemática 3.2)
Leia maisCódigos convolucionais
Códigos convolucionais Luis Henrique Assumpção Lolis 29 de novembro de 2013 Luis Henrique Assumpção Lolis Códigos convolucionais 1 Conteúdo 1 Introdução e definição 2 Diagrama de árvores, de treliça e
Leia maisMatemática I. 1 Propriedades dos números reais
Matemática I 1 Propriedades dos números reais O conjunto R dos números reais satisfaz algumas propriedades fundamentais: dados quaisquer x, y R, estão definidos a soma x + y e produto xy e tem-se 1 x +
Leia maisEstatística e Modelos Probabilísticos - COE241
Estatística e Modelos Probabilísticos - COE241 Aula passada Probabilidade Condicional Independência de Eventos Teorema da Probabilidade Total Lei de Bayes Aula de hoje Exemplo Lei de Bayes Variáveis Aleatórias
Leia maisMD Lógica de Proposições Quantificadas Cálculo de Predicados 1
Lógica de Proposições Quantificadas Cálculo de Predicados Antonio Alfredo Ferreira Loureiro loureiro@dcc.ufmg.br http://www.dcc.ufmg.br/~loureiro MD Lógica de Proposições Quantificadas Cálculo de Predicados
Leia maisProcessos Estocásticos e Cadeias de Markov Discretas
Processos Estocásticos e Cadeias de Markov Discretas Processo Estocástico(I) Definição: Um processo estocástico é uma família de variáveis aleatórias {X(t) t T}, definidas em um espaço de probabilidades,
Leia maisConteúdo Teórico: 04 Esperança
ACH2053 Introdução à Estatística Conteúdo Teórico: 04 Esperança Marcelo de Souza Lauretto Sistemas de Informação EACH www.each.usp.br/lauretto Referência: Morris DeGroot, Mark Schervish. Probability and
Leia maisCurso de Matemática Aplicada.
Aula 1 p.1/25 Curso de Matemática Aplicada. Margarete Oliveira Domingues PGMET/INPE Sistema de números reais e complexos Aula 1 p.2/25 Aula 1 p.3/25 Conjuntos Conjunto, classe e coleção de objetos possuindo
Leia maisUm alfabeto é um conjunto de símbolos indivisíveis de qualquer natureza. Um alfabeto é geralmente denotado pela letra grega Σ.
Linguagens O conceito de linguagem engloba uma variedade de categorias distintas de linguagens: linguagens naturais, linguagens de programação, linguagens matemáticas, etc. Uma definição geral de linguagem
Leia mais2.3 Operações sobre uma variável aleatória - Esperança matemática
matemática 58 atingir a mosca dado que ele atingiu o alvo. Exercício 2.33. [3] Duas caixas tem bolas vermelhas, verdes e azuis dentro; a quantidade de cada uma é dada a seguir. Caixa 01-5 vermelhas; 35
Leia maisContando o Infinito: os Números Cardinais
Contando o Infinito: os Números Cardinais Sérgio Tadao Martins 4 de junho de 2005 No one will expel us from the paradise that Cantor has created for us David Hilbert 1 Introdução Quantos elementos há no
Leia maisUniversidade de Pernambuco Escola Politécnica de Pernambuco
Universidade de Pernambuco Escola Politécnica de Pernambuco TV Analógica e Digital Introdução Codificação de Canal Prof. Márcio Lima E-mail:marcio.lima@poli.br Introdução Visão Geral Introdução Motivação
Leia maisEstruturas de Dados 2
Estruturas de Dados 2 IF64C Estruturas de Dados 2 Engenharia da Computação Prof. João Alberto Fabro - Slide 1/34 Introdução Técnica de Projeto de Algoritmos utilizada para Problemas de Otimização; Idéia:
Leia maisMaterial Teórico - Módulo Equações do Segundo Grau. Equações de Segundo Grau: outros resultados importantes. Nono Ano do Ensino Funcamental
Material Teórico - Módulo Equações do Segundo Grau Equações de Segundo Grau: outros resultados importantes Nono Ano do Ensino Funcamental Autor: Prof. Fabrício Siqueira Benevides Revisor: Prof. Antonio
Leia maisFísica da Informação Probabilidades
Física da Informação Probabilidades L.J. Amoreira UBI Novembro 2009 Sobre um exemplo da aula passada Uma caixa contém N bolas numeradas Retira-se uma bola, repõe-se na caixa, retira-se outra bola Qual
Leia maisEstruturas de Dados Tabelas de Espalhamento
Estruturas de Dados Tabelas de Espalhamento Prof. Eduardo Alchieri (introdução) Uma estrutura como, as árvores binárias de busca, que trabalhe na ordem de log n é muito eficiente, mas em algumas situações
Leia maisÁrvores. Thiago Martins, Fabio Gagliardi Cozman. PMR2300 / PMR3201 Escola Politécnica da Universidade de São Paulo
PMR2300 / PMR3201 Escola Politécnica da Universidade de São Paulo Árvore: estrutura composta por nós e arestas entre nós. As arestas são direcionadas ( setas ) e: um nó (e apenas um) é a raiz; todo nó
Leia maisLista 1 - PMR2300. Fabio G. Cozman 3 de abril de 2013
Lista 1 - PMR2300 Fabio G. Cozman 3 de abril de 2013 1. Qual String é impressa pelo programa: p u b l i c c l a s s What { p u b l i c s t a t i c void f ( i n t x ) { x = 2 ; p u b l i c s t a t i c void
Leia maisSequências e Séries Infinitas. Copyright Cengage Learning. Todos os direitos reservados.
11 Sequências e Séries Infinitas Copyright Cengage Learning. Todos os direitos reservados. 11.10 Séries de Taylor e Maclaurin Copyright Cengage Learning. Todos os direitos reservados. Começaremos supondo
Leia maisTeoria das Probabilidades
Universidade Federal do Pará Instituto de Tecnologia Estatística Aplicada I Prof. Dr. Jorge Teófilo de Barros Lopes Campus de Belém Curso de Engenharia Mecânica 08:8 ESTATÍSTICA APLICADA I - Teoria das
Leia maisLimites Uma teoria abordando os principais tópicos sobre a teoria dos limites. José Natanael Reis
Limites Uma teoria abordando os principais tópicos sobre a teoria dos limites Este trabalho tem como foco, uma abordagem sobre a teoria dos limites. Cujo objetivo é o método para avaliação da disciplina
Leia maisModulação OFDM aplicada à Televisão Digital bibliografia: Megrich, A. Televisão Digital: Princípios e técnicas, Editora Érica Ltda
1 Modulação OFDM aplicada à Televisão Digital bibliografia: Megrich, A. Televisão Digital: Princípios e técnicas, Editora Érica Ltda OFDM (Orthogonal Frequency-Division Multiplexing ), ou sinais multiplexados
Leia maisTeoria Ingênua dos Conjuntos (naive set theory)
Teoria Ingênua dos Conjuntos (naive set theory) MAT 131-2018 II Pouya Mehdipour 5 de outubro de 2018 Pouya Mehdipour 5 de outubro de 2018 1 / 22 Referências ALENCAR FILHO, E. Iniciação à Lógica Matemática,
Leia maisProbabilidade, entropia, surpresa, e quantidade de informação 1
Probabilidade, entropia, surpresa, e quantidade de informação 10 de setembro de 2013 Probabilidade, entropia, surpresa, e quantidade de informação 1 Conteúdo 1 Revisão de Probabilidade Teorema de Bayes
Leia maisINTRODUÇÃO À TEORIA DA INFORMAÇÃO
INTRODUÇÃO À TEORIA DA INFORMAÇÃO SISTEMA DE TRANSMISSÃO DIGITAL Oscodificadores defonte possuem a finalidade de casar a fonte de dados com o sistema levando em consideração a estatística de acontecimento
Leia maisCélia Borlido 07/09/2007 Encontro Nacional dos Novos Talentos em Matemática
Sistemas de Numeração Célia Borlido 7/9/27 Encontro Nacional dos Novos Talentos em Matemática Alguma notação para começar Є representa a palavra vazia. Se é um alfabeto, isto é, um conjunto não vazio de
Leia mais4 TEORIA MATEMÁTICA DA COMUNICAÇÃO DE SHANNON
4 TEORIA MATEMÁTICA DA COMUNICAÇÃO DE SHANNON A Teoria Matemática da Comunicação, ou Teoria da Comunicação de Shannon foi proposta por Claude Shannon no final da década de 1940 como forma de sistematizar
Leia maisEstruturas de Dados 2
Estruturas de Dados 2 Algoritmos de Ordenação em Tempo Linear IF64C Estruturas de Dados 2 Engenharia da Computação Prof. João Alberto Fabro - Slide 1/38 Algoritmos de Ordenação em Tempo Linear Limite Assintótico
Leia maisPropriedades das Linguagens Livres do Contexto
Capítulo 7 Propriedades das Linguagens Livres do Contexto As linguagens livres do contexto ocupam uma posição central na hierarquia das linguagens formais. Por um lado, as linguagens livres do contexto
Leia maisProbabilidade. Objetivos de Aprendizagem. UFMG-ICEx-EST. Cap. 2 - Probabilidade Espaços Amostrais e Eventos. 2.1.
2 ESQUEMA DO CAPÍTULO 2.1 ESPAÇOS AMOSTRAIS E EVENTOS 2.2 INTERPRETAÇÕES E AXIOMAS DE PROBABILIADE 2.3 REGRAS DE ADIÇÃO 2.4 PROBABILIDADE CONDICIONAL 2.5 REGRAS DA MULTIPLICAÇÃO E DA PROBABILIDADE TOTAL
Leia maisCriptografia. Aula 4: Autenticação de mensagens e canais seguros. Manuel Barbosa (mbb at dcc.fc.up.pt) 2018/2019
Criptografia Aula 4: Autenticação de mensagens e canais seguros Manuel Barbosa (mbb at dcc.fc.up.pt) 2018/2019 Integridade e autenticação de mensagens Message Authentication Codes Construções de MACs Integridade
Leia mais