Entropia, Entropia Relativa
|
|
- Matheus Henrique Carvalho di Azevedo
- 7 Há anos
- Visualizações:
Transcrição
1 Entropia, Entropia Relativa e Informação Mútua Miguel Barão (mjsb@di.uevora.pt) Departamento de Informática Universidade de Évora 13 de Março de Introdução Suponhamos que uma fonte gera símbolos a um determinado ritmo e que os símbolos são obtidos aleatoriamente a partir de um alfabeto finito X = {A, B, C, D}. Suponhamos ainda que todos os símbolos são equiprováveis. Uma possível sequência de símbolos seria a seguinte: CDBDDCBDADBAACCB (1) Se quisermos representar esta sequência num computador, surgem-nos imediatamente duas questões: 1. De que forma se pode representar esta sequência usando apenas os símbolos binários 0 e 1? 2. Quantos bits são necessários para a representar? Vamos começar por responder à segunda questão, deixando para mais tarde a primeira. Se temos um alfabeto com quatro símbolos, precisamos de log 2 4 = 2 bits para representar cada símbolo. Assim, a sequência anterior precisaria de 16 2 = 32 bits para ser representada. Um código possível seria o seguinte: A = 00, B = 01, C = 10, D = 11. A sequência anterior seria representada pela sequência binária De forma geral, para um alfabeto X de tamanho n em que todos os símbolos são equiprováveis, cada símbolo necessita de log 2 n bits para ser representado. Como a probabilidade de sair um dado símbolo x i é de p(x i ) = 1 n, o número de bits necessário para representar cada símbolo pode ser escrito em função da probabilidade dos símbolos da seguinte forma: nbits = log 2 n = log 2 1 p(x i ) = log 2 p(x i ), para qualquer i. No exemplo anterior, os símbolos eram todos equiprováveis. Pode, no entanto, dar-se o caso de haver símbolos que ocorrem com maior frequência que outros. Consideremos um caso concreto. 1
2 Suponhamos que temos o mesmo alfabeto X = {A, B, C, D} em que os símbolos ocorrem com probabilidades { 1 2, 1 4, 1 8, 1 8 }, respectivamente. Será possível tirar partido destas probabilidades de forma a codificar os símbolos tal que se usem, em média, menos bits por símbolo? A resposta a esta pergunta é: SIM! (tente arranjar um código que consiga este objectivo. Por exemplo, usando códigos de comprimento diferente para cada símbolo). 2 Entropia, Entropia Conjunta e Entropia Condicional O conceito de entropia na teoria da informação tem origem no trabalho de Shannon Sha48] que mostra que processos aleatórios tais como a fala ou a música têm uma complexidade abaixo da qual o sinal não pode ser comprimido. A esta complexidade ele chamou entropia 1. Suponhamos que X é uma v.a. discreta com alfabeto X e distribuição de probabilidade p(x) = P r(x = x), x X. Definição 2.1. A entropia H(X) de uma v.a. discreta X é definida por H(X) def = p(x) log p(x) (2) x X em que o logaritmo é na base 2 (todos os logaritmos daqui em diante são na base 2 excepto quando explicitamente indicado) e a entropia é expressa em bits. Se X p(x) é frequente usar a distribuição p em vez da v.a. X e portanto pode escrever-se H(p) com o mesmo significado que H(X). Como primeiro exercício, pode aplicar-se a definição de entropia ao problema proposto na secção 1. Exemplo 2.1. Pretende calcular-se a entropia da v.a. X, em que os símbolos do alfabeto X = {A, B, C, D} são todos equiprováveis. Aplicando a definição de entropia (2) obtém-se ( 1 H(X) = 4 4 log 1 ) = 2 bits, 4 que coincide exactamente com o número de bits necessário para codificar cada símbolo. Será coincidência? Se repararmos na definição de entropia, verifica-se que ela pode escrever-se como o valor esperado de log p(x), i.e., H(X) = E log p(x)]. Como log p(x) representa, no caso de símbolos equiprováveis, o número de bits necessário para representar cada símbolo, então H(X) é o valor esperado de uma constante: o número de bits por símbolo. Vejamos o que acontece agora no caso em que os símbolos não são equiprováveis. Se conseguirmos escrever um código em que cada símbolo pode ser representado com log p(x i ) bits, i.e., um código em que os símbolos mais prováveis usam menos bits, então a entropia pode ser interpretada como o comprimento médio dos códigos. Já sabemos que um código destes existe se os símbolos são equiprováveis. É o código apresentado na secção 1. Falta saber se também é possível criar um código com esta propriedade no caso dos símbolos não serem equiprováveis. 1 O nome entropia deriva da física, em particular da física estatística, onde era usado como medida do estado de desordem de um sistema. 2
3 Exemplo 2.2. Um código possível para o segundo caso da secção 1 em que os símbolos {A, B, C, D} têm probabilidade { 1 2, 1 4, 1 8, 1 8 } é o seguinte: É possivel observar neste exemplo que: A = 0, B = 10, C = 110, D = Os comprimentos dos códigos coincidem com os obtidos pela fórmula log p(x). Por exemplo, o comprimento do código C é de três bits e log 1 8 = A entropia de X é H(X) = = 1.75 bits. Ou seja, são necessários 1.75 bits em média para codificar cada símbolo (no caso dos símbolos equiprováveis eram necessários 2 bits). 3. Uma mensagem gerada com as probabilidades indicadas acima é, por exemplo, a seguinte: Esta mensagem seria codificada como ABBDBABAAADBABCA (3) (4) usando apenas 28 bits, o que dá uma média de = 1.75 bits por símbolo. 4. A mensagem codificada pode ser descodificada de forma unívoca (tente descodificar a mensagem (4)). Repare que nenhum dos códigos é prefixo de outro, e portanto não há ambiguidade na descodificação da mensagem. Um código deste tipo chama-se código de prefixo. O exemplo anterior foi construído artificialmente para ilustrar o conceito de entropia. Não é necessariamente verdade que se consiga construir um código de prefixo como o anterior, em que o comprimento do código de um símbolo x i X é exactamente igual a log p(x i ). Em geral, isso não acontece. Assim, a entropia é apenas um limite mínimo teórico para o número de bits por símbolo atingível num código de prefixo. É no entanto, um conceito fundamental e muito importante. Em seguida extende-se a definição de entropia para o caso de distribuições conjuntas de várias variáveis aleatórias e define-se entropia condicional. Definição 2.2. A entropia conjunta H(X, Y ) das variáveis aleatórias X e Y com distribuição de probabilidade conjunta p(x, y) é definida como H(X, Y ) def = p(x, y) log p(x, y), (5) x X y Y ou equivalentemente, H(X, Y ) def = E log p(x, Y )]. (6) A entropia conjunta de n variáveis aleatórias é definida de forma análoga. Definição 2.3. Se (X, Y ) p(x, y), então a entropia condicional H(Y X) é definida como H(Y X) def = p(x)h(y X = x) x X = p(x) p(y x) log p(y x) x X y Y = p(x, y) log p(y x) x X y Y = E p(x,y) log p(y X)] (7) 3
4 Teorema 2.1 (Regra da cadeia). A entropia verifica a seguinte propriedade: H(X, Y ) = H(Y X) + H(X). (8) Demonstração. Esta regra deriva da regra da cadeia nas probabilidades, em que sabemos que p(x, y) = p(y x)p(x). Aplicando o logaritmo a esta equação e depois o valor esperado relativamente a p(x, y), obtém-se o resultado enunciado no teorema. Como exemplo de aplicação das duas definições anteriores (entropia conjunta e entropia condicional) e da regra da cadeia, vamos considerar uma mensagem escrita em português. Exemplo 2.3. Suponha-se que uma fonte gerou a mensagem O MANUEL VEM JANTAR A CASA com símbolos obtidos do alfabeto X = {, A, B, C,..., Z}. Neste exemplo, e ao contrário do que acontecia nos casos anteriores, os símbolos (letras) não são gerados de forma independente uns dos outros, e.g., se a fonte gerar a letra B, a probabilidade de a letra seguinte ser outro B ou um espaço é zero uma vez que a língua portuguesa não o permite, mas a probabilidade de a seguir sair a letra U ou R já não é zero, uma vez que a palavra poderia ser BURRO ou ABRIR. Assim, podemos definir uma distribuição de probabilidade para as letras que ocorrem a seguir ao B. Esta distribuição é a distribuição de probabilidade condicional P (X 2 X 1 = B). Genericamente, temos definida uma distribuição condicional p(x k+1 x k ) em que x k é a k-ésima letra da mensagem e x k+1 a letra seguinte. Podemos agora calcular a entropia conjunta de uma sequência de duas letras. Suponhamos que X 1 e X 2 são duas variáveis aleatórias correspondentes às duas primeiras letras da frase. Qual é a entropia conjunta H(X 1, X 2 )? Pela regra da cadeia temos que H(X 1, X 2 ) = H(X 1 ) + H(X 2 X 1 ). Aplicando as definições de entropia e entropia condicional, obtemos o resultado pretendido. Na realidade, para uma mensagem como a do exemplo anterior, a distribuição de probabilidade de um símbolo x k não depende apenas do símbolo anterior, mas de todos os símbolos que o precedem. A expressão da entropia conjunta da frase completa é uma soma de entropias condicionais envolvendo cada símbolo e todos os símbolos passados, H(X 1,..., X n ) = n H(X i X i 1,..., X 1 ). (9) i=1 A entropia goza das seguintes propriedades que se apresentam em seguida sem demonstração (os detalhes estão em CT91]). 1. A entropia é sempre não-negativa: H(X) 0; 2. Se H(Y X) = 0 então Y = g(x), i.e., se a entropia condicional se anula então a v.a. Y não contém informação adicional relativamente àquela contida em X. 4
5 3 Entropia Relativa e Entropia Relativa Condicional A entropia relativa D(p q) mede a ineficiência de assumir que uma distribuição é q quando a distribuição verdadeira é p. Por exemplo, se soubermos a distribuição verdadeira de uma variável aleatória, podemos construir um código com comprimento médio H(p). No entanto, se usarmos um código desenhado para uma distribuição q, haveria uma desadequação do código à variável aleatória e seriam necessários H(p) + D(p q) bits em média para descrever a variável aleatória. Definição 3.1. A entropia relativa ou divergência de Kullback-Leibler entre duas distribuições p e q é definida por D(p q) def = p(x) log p(x) q(x) x X = E p(x) log p(x) q(x) ]. (10) Usa-se a convenção de que 0 log 0 q = 0 e p log p 0 =. Exemplo 3.1. Considere-se o problema em que fonte gera símbolos do alfabeto X = {A, B, C, D} com probabilidades p(x) dadas respectivamente por { 1 2, 1 4, 1 8, 1 8 }. Usando um código de prefixo desenhado especificamente para esta fonte é possível atingir um número médio de bits por símbolo igual à entropia H(X), que neste caso é de 1.75 bits como se viu na secção anterior. Se em vez deste, usarmos o código {00, 01, 10, 11} desenhado para o caso em que as probabilidades dos símbolos eram todas iguais a q(x) = 1 4, i.e., com comprimento de código igual a log 1 4 = 2 bits, o número médio de bits por símbolo é E p(x) log q(x)] = = 2. (11) 8 Ou seja, pelo facto usarmos um código que não foi desenhado para a fonte, necessitamos de usar mais 0.25 bits por símbolo. Essa ineficiência é a diferença entre o número de médio de bits necessário em cada um dos casos que, conforme se pode verificar facilmente, é igual à entropia relativa D(p q) E p(x) log q(x)] H(X) = E } {{ } } {{ } p(x) log q(x)] E p(x) log p(x)] 2 bits 1.75 bits = E p(x) log q(x) + log p(x)] = E p(x) log p(x) ] q(x) = D(p q). (12) Definição 3.2 (*). A entropia relativa condicional D(p(y x) q(y x)) é obtida a partir da entropia relativa entre p(y x) e q(y x) fazendo a média ponderada com p(x) D(p(y x) q(y x)) def = p(x) p(y x) log p(y x) q(y x) x X y Y ] p(y X) = E p(x,y) log. q(y X) (13) 5
6 4 Informação Mútua e Informação Mútua Condicional De forma informal, a informação mútua é uma medida da quantidade de informação que uma variável aleatória contém àcerca da outra. Definição 4.1. Considere duas variáveis aleatórias X e Y com distribuição conjunta p(x, y) e distribuições marginais p(x) e p(y). A informação mútua I(X; Y ) é a entropia relativa entre a distribuição conjunta e o produto das marginais I(X; Y ) def = x X p(x, y) log y Y p(x, y) p(x)p(y) = D(p(x, y) p(x)p(y)) = E p(x,y) log p(x, Y ) ]. p(x)p(y ) Exemplo 4.1. Considere duas variáveis aleatórias independentes X e Y com distribuições de probabilidade p(x) e p(y). Qual a informação mútua I(X; Y )? Resp.: Como as v.a. são independentes, temos que p(x, y) = p(x)p(y), e portanto I(X; Y ) = E p(x,y) log p(x, Y ) ] p(x)p(y ) = E p(x,y) log p(x)p(y ) ] (15) p(x)p(y ) = 0. Este resultado era esperado uma vez que X e Y são independentes. Definição 4.2 (*). A informação mútua condicional das variáveis aleatórias X e Y dado Z é definida por (14) I(X; Y Z) def = H(X Z) H(X Y, Z) = E p(x,y,z) log p(x, Y Z) p(x Z)p(Y Z) ]. (16) 5 Propriedades Nesta secção apresenta-se um conjunto de propriedades gozadas pela entropia, entropia relativa e informação mútua. As demonstrações em falta estão no capítulo 2 de CT91]. Teorema 5.1 (Relação entre informação mútua e entropia). I(X; Y ) = I(Y ; X) (17) I(X; X) = H(X) (18) I(X; Y ) = H(X) H(X Y ) (19) I(X; Y ) = H(Y ) H(Y X) (20) I(X; Y ) = H(X) + H(Y ) H(X, Y ) (21) A figura 1 ilustra estas relações usando um diagrama de Venn. Demonstração. Fica como exercício provar cada uma das igualdades (17) (21). 6
7 H(X,Y) H(X Y) I(X;Y) H(Y X) H(Y) H(X) Figura 1: Relação entre a entropia e a informação mútua. Teorema 5.2 (Regra da cadeia para a entropia). H(X 1,..., X n ) = n H(X i X i 1,..., X 1 ) (22) i=1 Teorema 5.3 (Regra da cadeia para a entropia relativa). D(p(x, y) q(x, y)) = D(p(x) q(x)) + D(p(y x) q(y x)) (23) Teorema 5.4 (Regra da cadeia para a informação mútua). I(X 1,..., X n ; Y ) = n I(X i ; Y X i 1,..., X 1 ) (24) i=1 Teorema 5.5 (Desigualdade da informação). A igualdade verifica-se se e só se p(x) = q(x) para todo o x X. D(p q) 0 (25) Corolário (Não negatividade da informação mútua). Para quaisquer duas variáveis aleatórias X e Y, I(X; Y ) 0 (26) com igualdade se e só se X e Y são independentes. Teorema 5.6. H(X) log X, em que X é o número de elementos de X. A igualdade verifica-se se e só se X tem distribuição uniforme em X. Demonstração. Seja u(x) = 1 X uma distribuição uniforme em X. Então D(p u) = x X p(x) log p(x) = log X H(X). u(x) 7
8 Como a entropia relativa é sempre não negativa D(p u) 0, temos que log X H(X) 0. Teorema 5.7 (Condicionamento reduz a entropia). com igualdade se e só se X e Y são independentes. H(X Y ) H(X) (27) Demonstração. 0 I(X; Y ) = H(X) H(X Y ) Teorema 5.8. Se X 1,..., X n são obtidos de acordo com p(x 1,..., x n ), então H(X 1,..., X n ) n H(X i ) (28) i=1 com igualdade se e só se as v.a. X i são independentes. Demonstração. Aplicando a regra da cadeia para a entropia seguida do teorema 5.7, obtém-se o resultado pretendido. Referências CT91] Thomas M. Cover and Joy A. Thomas. Elements of Information Theory. John-Wiley, Sha48] Claude E. Shannon. A mathematical theory of communication. The Bell System Technical Journal, 27: , ,
Canais discretos sem memória e capacidade do canal
Canais discretos sem memória e capacidade do canal Luis Henrique Assumpção Lolis 17 de outubro de 2013 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 1 Conteúdo 1 Canais
Leia maisTEORIA DE INFORMAÇÃO UM NANOCURSO
TEORIA DE INFORMAÇÃO UM NANOCURSO Max H. M. Costa Unicamp Set. 2016 Centenário de Shannon - SBrT - Santarém Dedicação: a memória de Claude Shannon Claude Shannon 1916-2001 matemático, engenheiro eletrônico,
Leia maisProbabilidade, entropia, surpresa, e quantidade de informação 1
Probabilidade, entropia, surpresa, e quantidade de informação 10 de setembro de 2013 Probabilidade, entropia, surpresa, e quantidade de informação 1 Conteúdo 1 Revisão de Probabilidade Teorema de Bayes
Leia maisTeoria da Informação
Charles Casimiro Cavalcante charles@gtel.ufc.br Grupo de Pesquisa em Telecomunicações Sem Fio GTEL Programa de Pós-Graduação em Engenharia de Teleinformática Universidade Federal do Ceará UFC http://www.gtel.ufc.br/
Leia maiscanal para sinais contínuos
Processos estocásticos, Entropia e capacidade de canal para sinais contínuos 24 de setembro de 2013 Processos estocásticos, Entropia e capacidade de canal para1 sin Conteúdo 1 Probabilidade de sinais contínuos
Leia maisuniversidade federal de pernambuco departamento de estatística
soluções do o exercício escolar Teoria da Informação set./207 a) Qual a variável aleatória de maior incerteza? Surpreendentemente, há uma maior incerteza sobre a variável aleatória X, é definida apenas
Leia mais2 Teoria da Informação
2 Teoria da Informação Neste capítulo apresentamos alguns conceitos básicos sobre Teoria da Informação que utilizaremos durante este trabalho. 2.1 Alfabeto, texto, letras e caracteres Um alfabeto Σ = (σ
Leia maisFundamentos da Teoria de Informação
Fundamentos da Teoria de Informação 1 Introdução... 2 2 Informação... 3 3 Entropia... 6 3.1 Entropia Exemplos... 7 3.2 Entropia Conjunta e Entropia Condicional... 12 3.3 Entropia e Codificação de Fonte...
Leia maisCompressão e Codificação de Dados. Primeiro Exame e Segundo Teste
Compressão e Codificação de Dados. Primeiro Exame e Segundo Teste Mestrado em Engenharia Electrotécnica e de Computadores, IST 7 de Janeiro de 2012 Nome: Número: NOTAS: Exame (3 horas): tudo. Segundo teste
Leia maisTeoria da Informação ( ) Exame de Recurso ( ) Resolução. (1 p), (1 p), p = H(0,4;0,4;0,2) = 1,522
Teoria da Informação (4-) Exame de ecurso (-7-). Canais discretos sem memória e p =,: esolução X -p p p -p Y W ε ε ε -ε -ε -ε Z Canal A Canal B Vamos representar P(X = i) por P(X i ), etc. PY ( ) = P(
Leia maisTE111 Comunicação Digital
TE111 Comunicação Digital Introdução à Teoria de Informação e Codificação de Fonte 15 de outubro de 2018 Introdução à Teoria de Informação Em 1948, Claude Shannon publicou o trabalho A Mathematical Theory
Leia maisTeoria da Informação
Charles Casimiro Cavalcante charles@gtel.ufc.br Grupo de Pesquisa em Telecomunicações Sem Fio GTEL Programa de Pós-Graduação em Engenharia de Teleinformática Universidade Federal do Ceará UFC http://www.gtel.ufc.br/
Leia maisFísica da Informação Probabilidades
Física da Informação Probabilidades L.J. Amoreira UBI Novembro 2009 Sobre um exemplo da aula passada Uma caixa contém N bolas numeradas Retira-se uma bola, repõe-se na caixa, retira-se outra bola Qual
Leia mais1. Funções Reais de Variável Real Vamos agora estudar funções definidas em subconjuntos D R com valores em R, i.e. f : D R R
. Funções Reais de Variável Real Vamos agora estudar funções definidas em subconjuntos D R com valores em R, i.e. f : D R R D x f(x). Uma função é uma regra que associa a cada elemento x D um valor f(x)
Leia maisCodificação de Huffman
Codificação de Huffman Bruna Gregory Palm 11 de setembro de 2017 A codificação de Huffman é um método de compressão que considera as probabilidades de ocorrência de cada símbolo no conjunto de dados a
Leia maisProbabilidade II. Departamento de Estatística. Universidade Federal da Paraíba. Prof. Tarciana Liberal (UFPB) Aula Desigualdades 02/14 1 / 31
Probabilidade II Departamento de Estatística Universidade Federal da Paraíba Prof. Tarciana Liberal (UFPB) Aula Desigualdades 02/14 1 / 31 Um teorema de grande importância e bastante utilidade em probabilidade
Leia maisSílvio A. Abrantes. Uns pequenos truques que facilitam alguns cálculos de Códigos e Teoria da Informação
Sílvio A. Abrantes Livro de receitas. Receitas?! Uns pequenos truques que facilitam alguns cálculos de Códigos e Teoria da Informação Abril 00 Codificação aritmética: Representação binária de números reais
Leia maisAULA 11 - Valor esperado e suas propriedades
AULA 11 - Valor esperado e suas propriedades Susan Schommer Introdução à Estatística Econômica - IE/UFRJ O valor esperado de uma variável aleatória Como forma de resumir o comportamento de uma variável
Leia mais1 Introdução à Combinatória Enumerativa: O Princípio de Inclusão-Exclusão
1 Introdução à Combinatória Enumerativa: O Princípio de Inclusão-Exclusão Dados conuntos finitos X, Y tem-se X Y = X + Y X Y Do mesmo modo X Y Z = X + Y + Z X Y X Z Y Z + X Y Z uma vez que os elementos
Leia maisProbabilidade. Definição de informação
Probabilidade. Definição de informação L.J. Amoreira UBI Novembro 2010 A distribuição binomial Repete-se n vezes uma experiência na qual um dado acontecimento A tem uma probabilidade de ocorrência p. Qual
Leia maisCompressão Sem Perdas: Codificações Huffman e Aritmética. Adelar da Silva Queiróz Marcelo Teixeira Thiago da Silva Sodré
Compressão Sem Perdas: Codificações Huffman e Aritmética Adelar da Silva Queiróz Marcelo Teixeira Thiago da Silva Sodré Compressão Sem Perdas (Lossless Data Compression) Refere-se a métodos de compressão
Leia maisRecorrendo à nossa imaginação podemos tentar escrever números racionais de modo semelhante: 1 2 = 1 + 3 + 32 +
1 Introdução Comecemos esta discussão fixando um número primo p. Dado um número natural m podemos escrevê-lo, de forma única, na base p. Por exemplo, se m = 15 e p = 3 temos m = 0 + 2 3 + 3 2. Podemos
Leia maisNotas sobre minorantes de complexidade
Notas sobre minorantes de complexidade Fevereiro 2007 Armando B. Matos 1 Neste trabalho faremos uma introdução às aplicações da teoria da Informação aos problemas de complexidade mínima, isto é, à procura
Leia maisL.J. Amoreira UBI. Dezembro 2010
Definição de informação L.J. Amoreira UBI Dezembro 2010 Entropia (ou incerteza [ou ignorância]) A incerteza associada a uma variável aleatória X que pode tomar os valores x 1, x 2,..., x n com probabilidades
Leia maisMomentos: Esperança e Variância. Introdução
Momentos: Esperança e Variância. Introdução Em uma relação determinística pode-se ter a seguinte relação: " + " = 0 Assim, m =, é a declividade e a e b são parâmetros. Sabendo os valores dos parâmetros
Leia maisFaculdade de Engenharia da Computação
Faculdade de Engenharia da Computação Disciplina Segurança Aplicada a Computação Teoria da Informação conceito de Entropia, Difusão, Criptossistemas Aleatórios, Redundância Relativa, Distância de Unicidade
Leia maisAula 9. Ivan Sendin. 12 de setembro de FACOM - Universidade Federal de Uberlândia SEG-9.
Segurança da Informação Aula 9 FACOM - Universidade Federal de Uberlândia ivansendin@yahoo.com,sendin@ufu.br 12 de setembro de 2018 Alice,Bob, Eva, Criptossistemas,... Ciptoanalise texto cifrado texto
Leia maisLógica de Predicados
Lógica de Predicados Conteúdo Correção dos Exercícios (Rosen 47) Prioridade dos Quantificadores (Rosen 38) Ligando Variáveis (Rosen 38) Predicados com duas variáveis. Equivalências lógicas (Rosen 39) Negando
Leia maisTeoria de distorção da taxa
Teoria de distorção da taxa Luis Henrique Assumpção Lolis 11 de outubro de 2013 Luis Henrique Assumpção Lolis Teoria de distorção da taxa 1 Conteúdo 1 Função discreta de distorção da taxa 2 Propriedades
Leia maisRicardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo
Geração de Números Aleatórios Ricardo Ehlers ehlers@icmc.usp.br Departamento de Matemática Aplicada e Estatística Universidade de São Paulo 1 / 61 Simulando de Distribuições Discretas Assume-se que um
Leia mais3. Variáveis aleatórias
3. Variáveis aleatórias Numa eperiência aleatória, independentemente de o seu espaço de resultados ser epresso numericamente, há interesse em considerar-se funções reais em Ω, denominadas por variáveis
Leia maisFunções Polinomiais com Coeficientes Complexos. Teorema do Resto. 3 ano E.M. Professores Cleber Assis e Tiago Miranda
Funções Polinomiais com Coeficientes Complexos Teorema do Resto 3 ano E.M. Professores Cleber Assis e Tiago Miranda Funções Polinomiais com Coeficientes Complexos Teorema do Resto 1 Exercícios Introdutórios
Leia maisCAPÍTULO 5: VARIÁVEIS ALEATÓRIAS BIDIMENSIONAIS Todas as coisas aparecem e desaparecem por causa da concorrência de causas e condições. Nada nunca existe inteiramente só, tudo está em relação com todo
Leia maisVARIÁVEIS ALEATÓRIAS
UNIVERSIDADE FEDERAL DE JUIZ DE FORA INSTITUTO DE CIÊNCIAS EXATAS DEPARTAMENTO DE ESTATÍSTICA VARIÁVEIS ALEATÓRIAS Joaquim H Vianna Neto Relatório Técnico RTE-03/013 Relatório Técnico Série Ensino Variáveis
Leia maisINE5403 FUNDAMENTOS DE MATEMÁTICA DISCRETA
INE5403 FUNDAMENTOS DE MATEMÁTICA DISCRETA PARA A COMPUTAÇÃO PROF. DANIEL S. FREITAS UFSC - CTC - INE Prof. Daniel S. Freitas - UFSC/CTC/INE/2007 p.1/30 3 - INDUÇÃO E RECURSÃO 3.1) Indução Matemática 3.2)
Leia maisProf. Lorí Viali, Dr.
Prof. Lorí Viali, Dr. viali@mat.ufgrs.br http://www.mat.ufrgsbr/~viali/ Motivação Em muitas situações precisamos lidar com duas ou mais variáveis aleatórias ao mesmo tempo. Por exemplo o comprimento e
Leia maisSegundo Exame e Repescagem de Testes. Mestrado em Engenharia Electrotécnica e de Computadores, IST 25 de Janeiro de 2014
Compressão e Codificação de Dados Segundo Exame e Repescagem de Testes Mestrado em Engenharia Electrotécnica e de Computadores, IST 25 de Janeiro de 201 Nome: Número: NOTAS: 1. Exame (3 horas): tudo. Primeiro
Leia maisCOMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO
COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2011 Introdução à Teoria de Informação Em 1948, Claude Shannon publicou o trabalho A A Mathematical Theory of Communications.
Leia maisVariáveis Aleatórias. Henrique Dantas Neder. April 26, Instituto de Economia - Universidade Federal de Uberlândia
Variáveis Aleatórias Henrique Dantas Neder Instituto de Economia - Universidade Federal de Uberlândia April 2, 202 VARIÁVEL ALEATÓRIA DISCRETA O conceito de variável aleatória está intrínsicamente relacionado
Leia mais2.4 Esperança e distribuição condicionais
2.4. ESPERANÇA E DISTRIBUIÇÃO CONDICIONAIS 35 2.4 Esperança e distribuição condicionais Estendemos aqui o conceito de probabilidade condicional em (2.8) para obter a distribuição condicional e, posteriormente,
Leia maisMotivação. VA n-dimensional. Distribuições Multivariadas VADB
Motivação Em muitas situações precisamos lidar com duas ou mais variáveis aleatórias ao mesmo tempo. Por exemplo o comprimento e a largura de uma Prof. Lorí Viali, Dr. viali@mat.ufgrs.br http://www.mat.ufrgsbr/~viali/
Leia maisSEGUNDO Massey [1] a história da criptologia mostra
REVISTA DE TECNOLOGIA DA INFORMAÇÃO E COMUNICAÇÃO, NÚMERO 1, OUTUBRO 2011 14 Aspectos de Segurança de Cifras de Chave-Secreta Valdemar C. da Rocha Jr. Grupo de Pesquisa em Comunicações, Departamento de
Leia maisAula 7. Ivan Sendin. 13 de setembro de FACOM - Universidade Federal de Uberlândia SEG-7.
Segurança da Informação Aula 7 FACOM - Universidade Federal de Uberlândia ivansendin@yahoo.com,sendin@ufu.br 13 de setembro de 2017 Alice,Bob, Eva, Criptossistemas,... Ciptoanalise: texto cifrado, texto
Leia maisTeoria da Informação ( ) Exame de Recurso ( ) Resolução ( ) ( ) 2log2. log log
Teoria da Informação (-6) Exame de Recurso (4-7-6) Resolução. Função densidade de probabilidade das amostras de U é constante: b a b pu ( ) a b a pu ( ) = b a. a) h ( U ) = p ( u ) log du = log( b a )
Leia maisProbabilidade e Estatística
Probabilidade e Estatística Aula 5 Probabilidade: Distribuições de Discretas Parte 1 Leitura obrigatória: Devore, 3.1, 3.2 e 3.3 Chap 5-1 Objetivos Nesta parte, vamos aprender: Como representar a distribuição
Leia maisVariáveis Aleatórias Discretas 1/1
Variáveis Aleatórias Discretas Professores Eduardo Zambon e Magnos Martinello UFES Universidade Federal do Espírito Santo DI Departamento de Informática CEUNES Centro Universitário Norte do Espírito Santo
Leia maisSM - Sistemas Multimédia CODIFICAÇÃO DE FONTE (parte 2) 4.º / 6.º semestre LEIC (verão 2016/2017)
SM - Sistemas Multimédia CODIFICAÇÃO DE FONTE (parte 2) 4.º / 6.º semestre LEIC (verão 2016/2017) Tópicos Propriedades dos códigos de fonte Código ótimo e código ideal Singularidade, descodificação única,
Leia maisProcedimentos e Algorítmos Programas e Linguagens de Programação Tese de Church-Turing Formas de Representação de Linguagens
Procedimentos e Algorítmos Programas e Linguagens de Programação Tese de Church-Turing Formas de Representação de Linguagens 1 Introdução Estudar computação do ponto de vista teórico é sinônimo de caracterizar
Leia maisCOM29008 LISTA DE EXERCÍCIOS #
INSTITUTO FEDERAL DE SANTA CATARINA CAMPUS SÃO JOSÉ COORDENADORIA DE ÁREA DE TELECOMUNICAÇÕES ENGENHARIA DE TELECOMUNICAÇÕES COM98 LISTA DE EXERCÍCIOS # 8. Exercícios. [, 9.5] Um processo estocástico gaussiano,
Leia maisMotivação. VA n-dimensional. Distribuições Multivariadas VADB. Em muitas situações precisamos
Motivação Em muitas situações precisamos Prof. Lorí Viali, Dr. viali@pucrs.br lidar com duas ou mais variáveis aleatórias ao mesmo tempo. Por exemplo o comprimento e a largura de uma determinada peça.
Leia maisDerivadas 1 DEFINIÇÃO. A derivada é a inclinação da reta tangente a um ponto de uma determinada curva, essa reta é obtida a partir de um limite.
Derivadas 1 DEFINIÇÃO A partir das noções de limite, é possível chegarmos a uma definição importantíssima para o Cálculo, esta é a derivada. Por definição: A derivada é a inclinação da reta tangente a
Leia maisCurso Profissional de Nível Secundário
Curso Profissional de Nível Secundário Técnico Auxiliar de Saúde 2 TAS Ano Letivo: 2014/2015 Matemática (200 horas) 11º Ano PLANIFICAÇÃO A LONGO PRAZO A7 Probabilidades Fenómenos aleatórios. 2 aulas Argumento
Leia maisNotas de Aula Aula 2, 2012/2
Lógica para Ciência da Computação Notas de Aula Aula 2, 2012/2 Renata de Freitas & Petrucio Viana Departamento de Análise, IME UFF 23 de janeiro de 2013 Sumário 1 Conteúdo e objetivos 1 2 Legibilidade
Leia maisConceitos Básicos INTRODUÇÃO 1 VETORES 1.1 REPRESENTAÇÃO DOS VETORES
Conceitos Básicos INTRODUÇÃO Esse material foi criado por um motivo: o curso de álgebra linear II da UFRJ parte do princípio que o aluno de Engenharia da UFRJ que faz a disciplina já conhece alguns conceitos
Leia maisInferência para CS Modelos univariados contínuos
Inferência para CS Modelos univariados contínuos Renato Martins Assunção DCC - UFMG 2014 Renato Martins Assunção (DCC - UFMG) Inferência para CS Modelos univariados contínuos 2014 1 / 42 V.A. Contínua
Leia maisProblemas de Fundamentos de Telecomunicações 1ª Parte: Codificação de Fonte e Codificação de Canal
Problemas de Fundamentos de Telecomunicações 1ª Parte: Codificação de Fonte e Codificação de Canal 1. Considere uma fonte com um alfabeto de 4 mensagens, de probabilidades 1/2, 1/4, 1/8 e 1/8. a) Qual
Leia maisVariáveis Aleatórias Bidimensionais &Teoremas de Limite 1/22
all Variáveis Aleatórias Bidimensionais & Teoremas de Limite Professores Eduardo Zambon e Magnos Martinello UFES Universidade Federal do Espírito Santo DI Departamento de Informática CEUNES Centro Universitário
Leia maisESCOLA SECUNDÁRIA DE LOUSADA
ESCOLA SECUNDÁRIA DE LOUSADA 2012 2013 PLANIFICAÇÃO DA DISCIPLINA DE MATEMÁTICA Curso Profissional de Técnico de Multimédia ELENCO MODULAR A7 Probabilidades 28 A6 Taxa de variação 36 A9 Funções de crescimento
Leia maisProbabilidade e Estatística
Probabilidade e Estatística Aula 6 - Distribuições Contínuas (Parte 01) Leitura obrigatória: Devore, Capítulo 4 Cap 6-1 Objetivos Nesta aula, vamos aprender: Representações de uma v. a. contínua: função
Leia maisAnálise de dados em Fisica de Particulas
Análise de dados em Fisica de Particulas Magno V.T. Machado Instituto de Fisica - UFRGS Escola de Fisica de Particulas e Campos. Agosto 05-09, 2013 Números aleatórios e Monte Carlo Muitas aplicações computacionais
Leia maisModelagem e Análise de Sistemas de Computação Aula 19
Modelagem e Análise de Sistemas de Computação Aula 19 Aula passada Intro a simulação Gerando números pseudo-aleatórios Aula de hoje Lei dos grandes números Calculando integrais Gerando outras distribuições
Leia maisAula 27 - Álgebra II. x (m(x)), x 2 + x + (m(x)), x 2 + x (m(x)) operações deste corpo são as seguintes:
Já vimos maneiras de codificar mensagens de modo a que, no caso de ocorrerem alguns erros na sua transmissão, o receptor possa ser capaz de corrigir esses erros. Esses códigos, chamados códigos lineares
Leia maisMinera c ao de Dados Aula 6: Finaliza c ao de Regress ao e Classifica c ao Rafael Izbicki 1 / 33
Mineração de Dados Aula 6: Finalização de Regressão e Classificação Rafael Izbicki 1 / 33 Como fazer um IC para o risco estimado? Vamos assumir que ( X 1, Ỹ1),..., ( X s, Ỹs) são elementos de um conjunto
Leia maisEstatística Aplicada I
Estatística Aplicada I ESPERANCA MATEMATICA AULA 1 25/04/17 Prof a Lilian M. Lima Cunha Abril de 2017 EXPERIMENTO RESULTADOS EXPERIMENTAIS VARIÁVEL ALEATÓRIA X = variável aleatória = descrição numérica
Leia maisConvergência em espaços normados
Chapter 1 Convergência em espaços normados Neste capítulo vamos abordar diferentes tipos de convergência em espaços normados. Já sabemos da análise matemática e não só, de diferentes tipos de convergência
Leia maisNivio Ziviani. Conjunto de transparências elaborado por Nivio Ziviani, Patrícia Correia e Fabiano C. Botelho
Tópicos em Recuperação de Informação 1 Nivio Ziviani 1 Conjunto de transparências elaborado por Nivio Ziviani, Patrícia Correia e Fabiano C. Botelho Tópicos em Recuperação de Informação - Nivio Ziviani
Leia maisProbabilidade II. Departamento de Estatística. Universidade Federal da Paraíba
Probabilidade II Departamento de Estatística Universidade Federal da Paraíba Prof. Tarciana Liberal (UFPB) Aula Distribuições Condicionais 11/13 1 / 19 Em estudo feito em sala perguntamos aos alunos qual
Leia maisRedes Neuronais e Aprendizagem Automática 1
Redes Neuronais e Aprendizagem Automática 2005/2006 17 a aula Fernando.Silva@ist.utl.pt Instituto Superior Técnico Redes Neuronais e Aprendizagem Automática 1 Sumário Árvores de decisão (continuação) Entropia.
Leia maisProbabilidade. Objetivos de Aprendizagem. UFMG-ICEx-EST. Cap. 2 - Probabilidade Espaços Amostrais e Eventos. 2.1.
2 ESQUEMA DO CAPÍTULO 2.1 ESPAÇOS AMOSTRAIS E EVENTOS 2.2 INTERPRETAÇÕES E AXIOMAS DE PROBABILIADE 2.3 REGRAS DE ADIÇÃO 2.4 PROBABILIDADE CONDICIONAL 2.5 REGRAS DA MULTIPLICAÇÃO E DA PROBABILIDADE TOTAL
Leia maisSejam A o conjunto de todos os seres humanos e B o conjunto de todos os livros. Consideremos
Correspondências e funções O principal problema da combinatória enumerativa é saber quantos elementos tem um dado conjunto finito. Além disso, dedica-se a encontrar procedimentos e estratégias para a forma
Leia maisFicha de trabalho Decomposição e resolução de equações e inequações polinomiais
Ficha de trabalho Decomposição e resolução de equações e inequações polinomiais 1. Verifique, recorrendo ao algoritmo da divisão, que: 6 4 0x 54x + 3x + é divisível por x 1.. De um modo geral, que relação
Leia mais1.1 Exemplo da diferença da média da população para a média amostral.
1 Estatística e Probabilidades Inferência Estatística consiste na generalização das informações a respeito de uma amostra, para a sua população. A Probabilidade considera modelos para estimar informações
Leia maisVARIÁVEIS ALEATÓRIAS E DISTRIBUIÇÕES DE PROBABILIDADE
VARIÁVEIS ALEATÓRIAS E DISTRIBUIÇÕES DE PROBABILIDADE.1 INTRODUÇÃO Admita que, de um lote de 10 peças, 3 das quais são defeituosas, peças são etraídas ao acaso, juntas (ou uma a uma, sem reposição). Estamos
Leia maisCapítulo 1. f : A B. elementos A com elementos de B ilustradas nos seguintes diagramas.
Capítulo 1 Funções Sejam A e B conjuntos não vazios. Uma função com domínio A e contradomínio B é uma regra f que a cada elemento em A associa um único elemento em B. A notação usual para uma função f
Leia maisAula 5. Variáveis Aleatórias Discretas
Aula 5. Variáveis Aleatórias Discretas Definição formal : Variável aleatória é qualquer função definida em espaço Ω. Ω função é uma regra que para cada valor de domínio corresponde um valor de R R Definição
Leia maisCódigos perfeitos e sistemas de Steiner
CAPÍTULO 7 Códigos perfeitos e sistemas de Steiner Sistemas de Steiner são um caso particular de configurações (ou designs. Neste capítulo pretende-se apenas fazer uma breve introdução aos sistemas de
Leia maisAULA 9 - Variável aleatória bidimensional discreta
AULA 9 - Variável aleatória bidimensional discreta Susan Schommer Introdução à Estatística Econômica - IE/UFRJ Variáveis aleatórias bidimensionais Definition Sejam ɛ um experimento e S um espaço amostral
Leia maisNivio Ziviani. Conjunto de transparências elaborado por Nivio Ziviani, Patrícia Correia e Fabiano C. Botelho.
Tópicos em Recuperação de Informação Nivio Ziviani Conjunto de transparências elaborado por Nivio Ziviani, Patrícia Correia e Fabiano C. Botelho. 1 Compressão de Índices Arquivos invertidos são amplamente
Leia mais1 Introdução à Combinatória Enumerativa: O Princípio de Inclusão-Exclusão
1 Introdução à Combinatória Enumerativa: O Princípio de Inclusão-Exclusão Dados conuntos finitos X, Y tem-se X Y = X + Y X Y Do mesmo modo X Y Z = X + Y + Z X Y X Z Y Z + X Y Z uma vez que os elementos
Leia maisTeoremas e Propriedades Operatórias
Capítulo 10 Teoremas e Propriedades Operatórias Como vimos no capítulo anterior, mesmo que nossa habilidade no cálculo de ites seja bastante boa, utilizar diretamente a definição para calcular derivadas
Leia mais5. EQUAÇÕES E INEQUAÇÕES EXPONENCIAIS E LOGARÍTMICAS
57 5. EQUAÇÕES E INEQUAÇÕES EXPONENCIAIS E LOGARÍTMICAS 5.. EQUAÇÕES EXPONENCIAIS Equações que envolvem termos em que a incógnita aparece no epoente são chamadas de equações eponenciais. Por eemplo, =
Leia maisUm Passeio pela Teoria da Informação
WECIQ 2006 - Mini-curso 3 Um Passeio pela Teoria da Informação (Clássica e Quântica) Carlile Lavor 1 1 Instituto de Matemática, Estatística e Computação Científica UNICAMP clavor@ime.unicamp.br 1. Introdução
Leia maisProcessos Estocásticos
Processos Estocásticos Quarta Lista de Exercícios 12 de fevereiro de 2014 1 Sejam X e Y duas VAs que só podem assumir os valores 1 ou -1 e seja p(x, y) = P (X = x, Y = y), x, y { 1, 1} a função de probabilidade
Leia maisChamamos de evento qualquer subconjunto do espaço amostral: A é um evento A Ω.
PROBABILIDADE 1.0 Conceitos Gerais No caso em que os possíveis resultados de um experimento aleatório podem ser listados (caso discreto), um modelo probabilístico pode ser entendido como a listagem desses
Leia maisNoções de Simulação. Ciências Contábeis - FEA - Noturno. 2 o Semestre MAE0219 (IME-USP) Noções de Simulação 2 o Semestre / 23
Noções de Simulação Ciências Contábeis - FEA - Noturno 2 o Semestre 2013 MAE0219 (IME-USP) Noções de Simulação 2 o Semestre 2013 1 / 23 Objetivos da Aula Sumário 1 Objetivos da Aula 2 Motivação 3 Geração
Leia maisTelevisão Digital. Codificação de Entropia Códigos de Huffman. Hélio Manuel Gonçalves Jaco
Codificação de Entropia Códigos de Huffman Hélio Manuel Gonçalves Jaco Porto, Outubro de 2006 1. Objectivo Desenvolver um programa que gere códigos de Huffman de imagens às quais foi aplicada uma transformada
Leia maisVariáveis Aleatórias Contínuas e Distribuição de Probabilidad
Variáveis Aleatórias Contínuas e Distribuição de Probabilidades - parte I 2012/02 1 Variáveis Aleatórias Contínuas 2 Distribuições de Probabilidade e Funções Densidades de Probabil 3 4 Objetivos Ao final
Leia maisTeoria Ergódica (22 a aula)
Dezembro 2012 Informação = Incerteza Seja (X, A, P) um espaço de probabilidade, A Aleatoriedade dum evento E A é igual à incerteza removida, ou informação ganha pelo conhecimento da sua realização, define-se
Leia maisESTATÍSTICA. x(s) W Domínio. Contradomínio
Variáveis Aleatórias Variáveis Aleatórias são funções matemáticas que associam números reais aos resultados de um Espaço Amostral. Uma variável quantitativa geralmente agrega mais informação que uma qualitativa.
Leia maisL.J. Amoreira Dept. Física, UBI Dezembro 2010
Brevíssima introdução à teoria da informação L.J. Amoreira Dept. Física, UBI Dezembro 2010 Conteúdo 1 Introdução 2 2 Variáveis aleatórias e probabilidade 3 2.1 Experiências aleatórias e variáveis aleatórias............
Leia maisElementos de Teoria da Informação
Elementos de Teoria da Informação Mário A. T. Figueiredo Departamento de Engenharia Electrotécnica e de Computadores Instituto Superior Técnico 1049-001 Lisboa Portugal Versão 1.5 Novembro de 2007 2 Conteúdo
Leia maisLógica de Predicados
Lógica de Predicados Conteúdo Correção dos Exercícios (Rosen 47) Prioridade dos Quantificadores (Rosen 38) Ligando Variáveis (Rosen 38) Equivalências lógicas (Rosen 39) Negando expressões com quantificadores
Leia maisTeoremas de uma, duas e três séries de Kolmogorov
Teoremas de uma, duas e três séries de Kolmogorov 13 de Maio de 013 1 Introdução Nestas notas Z 1, Z, Z 3,... é uma sequência de variáveis aleatórias independentes. Buscaremos determinar condições sob
Leia mais8. Árvores. Fernando Silva DCC-FCUP. Estruturas de Dados. Fernando Silva (DCC-FCUP) 8. Árvores Estruturas de Dados 1 / 38
8. Árvores Fernando Silva DCC-FCUP Estruturas de Dados Fernando Silva (DCC-FCUP) 8. Árvores Estruturas de Dados 1 / 38 Árvores - estruturas não lineares (1) Uma lista é um exemplo de uma estrutura de dados
Leia mais8. Árvores. Fernando Silva. Estruturas de Dados DCC-FCUP. Fernando Silva (DCC-FCUP) 8. Árvores Estruturas de Dados 1 / 38
8. Árvores Fernando Silva DCC-FCUP Estruturas de Dados Fernando Silva (DCC-FCUP) 8. Árvores Estruturas de Dados 1 / 38 Árvores - estruturas não lineares (1) Uma lista é um exemplo de uma estrutura de dados
Leia maisProbabilidade ESQUEMA DO CAPÍTULO. UFMG-ICEx-EST Cap. 2- Probabilidade 1
Probabilidade ESQUEMA DO CAPÍTULO 2.1 ESPAÇOS AMOSTRAIS E EVENTOS 2.2 INTERPRETAÇÕES DE PROBABILIADE 2.3 REGRAS DE ADIÇÃO 2.4 PROBABILIDADE CONDICIONAL 2.5 REGRAS DA MULTIPLICAÇÃO E DA PROBABILIDADE TOTAL
Leia maisFunções Polinomiais com Coeficientes Complexos. Dispositivo de Briot-Ruffini. 3 ano E.M. Professores Cleber Assis e Tiago Miranda
Funções Polinomiais com Coeficientes Complexos Dispositivo de Briot-Ruffini 3 ano E.M. Professores Cleber Assis e Tiago Miranda Funções Polinomiais com Coeficientes Complexos Dispositivo de Briot-Ruffini
Leia maisPROBABILIDADE E ESTATÍSTICA DISTRIBUIÇÕES DE PROBABILIDADES PARTE I
PROBABILIDADE E ESTATÍSTICA DISTRIBUIÇÕES DE PROBABILIDADES PARTE I Bruno Baierle Maurício Furigo Prof.ª Sheila Regina Oro (orientadora) Edital 06/2013 - Produção de Recursos Educacionais Digitais Variável
Leia maisFun c ao Logaritmo Fun c ao Logaritmo ( ) F. Logaritmo Matem atica II 2008/2009
Função Logaritmo (27-02-09) Função Logaritmo Acabámos de estudar a função exponencial, cuja forma mais simples é a função f(x) = e x. Resolvemos vários problemas que consistiam em calcular f(x 0 ) para
Leia maisBIOESTATÍSTICA. Parte 3 Variáveis Aleatórias
BIOESTATÍSTICA Parte 3 Variáveis Aleatórias Aulas Teóricas de 29/03/2011 a 26/04/2011 3.1. Conceito de Variável Aleatória. Função de Distribuição Variáveis aleatórias Uma variável aleatória pode ser entendida
Leia mais