canal para sinais contínuos

Transcrição

1 Processos estocásticos, Entropia e capacidade de canal para sinais contínuos 24 de setembro de 2013 Processos estocásticos, Entropia e capacidade de canal para1 sin

2 Conteúdo 1 Probabilidade de sinais contínuos 2 Definição de processo estocástico 3 Entropia em sistemas contínuos 4 Entropias conjuntas e condicionais e Informação mútua 5 Ruído na entropia de Y 6 Capacidade do canal aditivo gaussiano Empacotamento em esferas Noção de constelação Eficiência Espectral x E b /N 0 Processos estocásticos, Entropia e capacidade de canal para2 sin

3 Sumário 1 Probabilidade de sinais contínuos 2 Definição de processo estocástico 3 Entropia em sistemas contínuos 4 Entropias conjuntas e condicionais e Informação mútua 5 Ruído na entropia de Y 6 Capacidade do canal aditivo gaussiano Empacotamento em esferas Noção de constelação Eficiência Espectral x E b /N 0 Processos estocásticos, Entropia e capacidade de canal para3 sin

4 Revisão de processos estocásticos Até agora falamos de fontes discretas. Não se explica a origem do erro na transição e não é uma descrição mais correta do canal. O ruído pode ter uma continuidade de amplitudes, bem como o sinal útil analógico também. Em um sinal discreto se falava da probabilidade de um evento. Em um sinal contínuo existe a probabilidade de um evento estar entre um intervalo de a b. Para saber a probabilidade de um sinal estar entre e x se usa Densidade de Probabilidade Acumulada. Para sistemas discretos, a soma das probabilidades é igual a 1. Em sistemas contínuos, a Densidade de Probabilidade Acumulada começa em 0 e termina em 1. Processos estocásticos, Entropia e capacidade de canal para4 sin

5 Propriedades: (i) 0 F (x) 1 (ii) lim x F (x) = 1 (iii) lim x F (x) = 0 (iv) F (x) é não decrescente em x, se a < b, então F (a) F (b) A Função de Densidade de Probabilidade ou F.D.P. é dada como a derivada da distribuição de probabilidade acumulada : df (x) p(x) = dx x b a x b) p(u)du = F (x) F () = F (x) p(x)dx = F ( ) F () = 1 p(x)dx = F (b) F (a) = P (x b) P (x a) = P (a < Processos estocásticos, Entropia e capacidade de canal para5 sin

6 Processos estocásticos, Entropia e capacidade de canal para6 sin

7 A função de densidade de probabilidade mais importante para nós é a distribuição normal, ou gaussiana. A sua integral, ou seja, a distribuição de probabilidade acumulada é calculada através da função de erro erf(x). E(x) = Média x p(x)dx F.D.P da curva normal - gaussiana { p(x) = 1 σ 2π exp } (x µ)2 2σ 2 Variância var(x) = E [ (x E(x)) 2] = (x E(x)) 2 p(x)dx erf erf(x) = 2 x exp( t 2 )dt π 0 Processos estocásticos, Entropia e capacidade de canal para7 sin

8 Todas as propriedades de probabilidade continuam válidas. Onde havia uma somatória para variáveis discretas agora é uma integral: Distribuição de Probabilidade Acumulada Conjunta: F (x, y) = P (x x, y y) Função de Densidade de Probabilidade Conjunta: p(x, y) = 2 F (x, y) p(x, y)dxdy = 1 x y p(x) = Função de Densidade de Probabilidade Marginal: p(x, y)dy q(y) = p(x, y)dx Processos estocásticos, Entropia e capacidade de canal para8 sin

9 Função de densidade de probabilidade condicional: p(x, y) p(x, y) p(x y) = q(y x) = q(y) p(x) Covariância: cov(x, y) = E [(x E(x)) (y E(y))] = Coeficiente de correlação: Correlação: (x E(x)) (y E(y)) p(x, y) dxdy cov(x, x) =var(x) ρ = R(x, y) = E(x y) = cov(x, y) var(x)var(y) x y p(x, y) dxdy Processos estocásticos, Entropia e capacidade de canal para9 sin

10 Sumário 1 Probabilidade de sinais contínuos 2 Definição de processo estocástico 3 Entropia em sistemas contínuos 4 Entropias conjuntas e condicionais e Informação mútua 5 Ruído na entropia de Y 6 Capacidade do canal aditivo gaussiano Empacotamento em esferas Noção de constelação Eficiência Espectral x E b /N 0 Processos estocásticos, Entropia e capacidade de canal para10sin

11 {X(t), t T }. Probabilidade de t 0, x(t 0 ). Entender o sinal como estocástico para cada ponto de t. Todas as possíveis realizações de x(t) definem a variável estocástica. A distribuição de x(t) é contínua, então x(t) é uma variável estocástica contínua. Processos estocásticos, Entropia e capacidade de canal para11sin

12 Sumário 1 Probabilidade de sinais contínuos 2 Definição de processo estocástico 3 Entropia em sistemas contínuos 4 Entropias conjuntas e condicionais e Informação mútua 5 Ruído na entropia de Y 6 Capacidade do canal aditivo gaussiano Empacotamento em esferas Noção de constelação Eficiência Espectral x E b /N 0 Processos estocásticos, Entropia e capacidade de canal para12sin

13 Entropia em sistemas contínuos Um processo estocástico no tempo, contém para cada instante do tempo, um valor aleatório, cujas características de probabilidade são descritas pela função de densidade de probabilidade. Se as características da função de densidade de probabilidade não variam no tempo, o sinal pode ser chamado de estacionário. Se um sinal não varia de maneira infinitamente rápida, isso significa que ele possui banda passante finita. Esse sinal pode ser então descrito como uma sequência de amostras discretas com no mínimo duas amostras por ciclo da frequência mais rápida do sinal (NYQUIST). Em comunicações digitais esse resultado é importante pois essa abstração vai permitir calcular taxas de erro binário através do teorema da capacidade do canal de Shannon. Processos estocásticos, Entropia e capacidade de canal para13sin

14 Entropia em sistemas contínuos Revisão: Entropia no caso discreto: J 1 ( ) 1 H(x) = p(x j ) log 2 J sendo um número finito. p(x j ) j=0 Entropia no caso contínuo (entropia relativa entropia diferencial): ( ) 1 h(x) = p(x) log 2 dx p(x) Sem fazer alguma hipótese sobre p(x), h(x) pode ser infinita. p(x) a densidade de probabilidade de x Processos estocásticos, Entropia e capacidade de canal para14sin

15 Limitando p(x) em amplitude Para limitar h(x), algumas hipóteses devem ser feitas em torno de x ou p(x) para poder limitar a entropia de fontes contínuas. Se limitarmos a amplitude de x entre ( A, A). Consideramos a distribuição de probabilidade uniforme: p(x) = 1 por ser limitada em amplitude ela satisfaz a 2A h(x) = A A relação: A A = 1 1 2A log 2(2A)dx = log 2 2A Processos estocásticos, Entropia e capacidade de canal para15sin

16 Limitando p(x) em potência Consideramos um sinal de potência constante, i.e. variância constante σ 2 = E [ (x E(x)) 2] e média µ = E(x) A distribuição normal é aquela que contém a maior quantidade de informação para sinais contínuos a potência constante A entropia da variável gaussiana não depende da sua média Quando se fala de ruído gaussiano ou normal é o pior caso para considerar o canal. O resultado da quantidade de informação sinal gaussiano é o mais Aplicado para inferir valores de taxa de erro binário. Processos estocásticos, Entropia e capacidade de canal para16sin

17 Calculando a entropia da distribuição normal Processos estocásticos, Entropia e capacidade de canal para17sin

18 Calculando a entropia da distribuição normal ( ) 1 h(x) = p(x) log 2 dx p(x) Processos estocásticos, Entropia e capacidade de canal para17sin

19 Calculando a entropia da distribuição normal ( ) 1 h(x) = p(x) log 2 dx p(x) p(x) = 1 } { σ 2π exp (x µ)2 2σ 2 Processos estocásticos, Entropia e capacidade de canal para17sin

20 Calculando a entropia da distribuição normal ( ) 1 h(x) = p(x) log 2 dx p(x) p(x) = 1 } { σ 2π exp (x µ)2 2σ 2 p(x) = 1 Processos estocásticos, Entropia e capacidade de canal para17sin

21 Calculando a entropia da distribuição normal ( ) 1 h(x) = p(x) log 2 dx p(x) p(x) = 1 } { σ 2π exp (x µ)2 2σ 2 p(x) = 1 E(x) = µ Processos estocásticos, Entropia e capacidade de canal para17sin

22 Calculando a entropia da distribuição normal ( ) 1 h(x) = p(x) log 2 dx p(x) p(x) = 1 } { σ 2π exp (x µ)2 2σ 2 p(x) = 1 E(x) = µ (x E(x)) 2 p(x)dx = (x µ)) 2 p(x)dx = σ 2 Processos estocásticos, Entropia e capacidade de canal para17sin

23 Calculando a entropia da distribuição normal ( ) 1 h(x) = p(x) log 2 dx p(x) p(x) = 1 } { σ 2π exp (x µ)2 2σ 2 p(x) = 1 E(x) = µ (x E(x)) 2 p(x)dx = (x µ)) 2 p(x)dx = σ 2 Processos estocásticos, Entropia e capacidade de canal para17sin

24 ( }) 1 h(x) = p(x) log 2 { σ 2π exp (x µ)2 2σ 2 dx Processos estocásticos, Entropia e capacidade de canal para18sin

25 h(x) = h(x) = p(x) log 2 ( 1 p(x) { σ 2π exp ) [ log 2 ( σ 2π }) (x µ)2 2σ 2 dx ] (x µ)2 2σ 2 log 2 e dx Processos estocásticos, Entropia e capacidade de canal para18sin

26 h(x) = h(x) = h(x) = p(x) p(x) log 2 ( 1 p(x) { σ 2π exp ) [ log 2 ( σ 2π }) (x µ)2 2σ 2 dx ] (x µ)2 2σ 2 log 2 e dx ( [log 2 σ )] [ ] (x µ) 2 2π dx + p(x) 2σ 2 log 2 e dx Processos estocásticos, Entropia e capacidade de canal para18sin

27 h(x) = h(x) = h(x) = p(x) log 2 ( 1 p(x) { σ 2π exp ) [ log 2 ( σ 2π }) (x µ)2 2σ 2 dx ] (x µ)2 2σ 2 log 2 e dx ( p(x) [log 2 σ )] [ ] (x µ) 2 2π dx + p(x) 2σ 2 log 2 e dx ( ) log h(x) = log 2 σ 2π + 2 e 2σ 2 σ2 Processos estocásticos, Entropia e capacidade de canal para18sin

28 h(x) = h(x) = h(x) = p(x) log 2 ( 1 p(x) { σ 2π exp ) [ log 2 ( σ 2π }) (x µ)2 2σ 2 dx ] (x µ)2 2σ 2 log 2 e dx ( p(x) [log 2 σ )] [ ] (x µ) 2 2π dx + p(x) 2σ 2 log 2 e dx ( ) log h(x) = log 2 σ 2π + 2 e 2σ 2 σ2 ( ) log h(x) = log 2 σ 2π + 2 e 2 Processos estocásticos, Entropia e capacidade de canal para18sin

29 h(x) = h(x) = h(x) = p(x) log 2 ( 1 p(x) { σ 2π exp ) [ log 2 ( σ 2π }) (x µ)2 2σ 2 dx ] (x µ)2 2σ 2 log 2 e dx ( p(x) [log 2 σ )] [ ] (x µ) 2 2π dx + p(x) 2σ 2 log 2 e dx ( ) log h(x) = log 2 σ 2π + 2 e 2σ 2 σ2 ( ) log h(x) = log 2 σ 2π + 2 e 2 h(x) = 2 log ( ) 2 σ 2π + log2 e 2 Processos estocásticos, Entropia e capacidade de canal para18sin

30 h(x) = h(x) = h(x) = p(x) log 2 ( 1 p(x) { σ 2π exp ) [ log 2 ( σ 2π }) (x µ)2 2σ 2 dx ] (x µ)2 2σ 2 log 2 e dx ( p(x) [log 2 σ )] [ ] (x µ) 2 2π dx + p(x) 2σ 2 log 2 e dx ( ) log h(x) = log 2 σ 2π + 2 e 2σ 2 σ2 ( ) log h(x) = log 2 σ 2π + 2 e 2 h(x) = 2 log ( ) 2 σ 2π + log2 e 2 h(x) = log ( 2 σ 2 2π ) + log 2 e 2 = 1 2 log ( 2 2πeσ 2 ) Processos estocásticos, Entropia e capacidade de canal para18sin

31 Sumário 1 Probabilidade de sinais contínuos 2 Definição de processo estocástico 3 Entropia em sistemas contínuos 4 Entropias conjuntas e condicionais e Informação mútua 5 Ruído na entropia de Y 6 Capacidade do canal aditivo gaussiano Empacotamento em esferas Noção de constelação Eficiência Espectral x E b /N 0 Processos estocásticos, Entropia e capacidade de canal para19sin

32 Entropia conjunta e condicional Quantidade de informação conjunta: H(X, Y ) = p(x, y) log p(x, y)dxdy Quantidade de informação condicional: H(X Y ) = H(Y X) = p(x, y) log p(x y)dxdy p(x, y) log p(y x)dxdy Processos estocásticos, Entropia e capacidade de canal para20sin

33 Informação mútua I(X ; Y) = h(x ) h(x Y) Revisão: em sistemas discretos K 1 J 1 [ ] p(yk x j ) I(X ; Y) = p(x j, y k ) log 2 = I(Y; X ) p(y k ) k=0 j=0 Em sistemas contínuos I(X ; Y) = I(X ; Y) = [ ] p(x y) p(x, y) log 2 p(x) p(x, y) log 2 [ p(x, y) p(x)p(y) dxdy ] dxdy Processos estocásticos, Entropia e capacidade de canal para21sin

34 Sumário 1 Probabilidade de sinais contínuos 2 Definição de processo estocástico 3 Entropia em sistemas contínuos 4 Entropias conjuntas e condicionais e Informação mútua 5 Ruído na entropia de Y 6 Capacidade do canal aditivo gaussiano Empacotamento em esferas Noção de constelação Eficiência Espectral x E b /N 0 Processos estocásticos, Entropia e capacidade de canal para22sin

35 Ruído na entropia de Y Vamos usar a hipótese de um canal gaussiano aditivo. Gaussiano porque o ruído do canal se comporta como uma variável contínua com distribuição normal. Aditivo pois: n = y x q(y x) = q((x + n) x). Como o ruído é independente de x: q((x + n) x) = p(n x) = p(n) = p(y x) A incerteza de y dado x é a quantidade de informação (entropia) de n. h(y X ) = = = = p(x, y) log 2 [q(y x)] dxdy p(x)q(y x) log 2 [q(y x)] dxdy p(x)p(n) log 2 [p(n)] dxdn p(n) log 2 [p(n)] dn = h(n ) Processos estocásticos, Entropia e capacidade de canal para23sin

36 Sumário 1 Probabilidade de sinais contínuos 2 Definição de processo estocástico 3 Entropia em sistemas contínuos 4 Entropias conjuntas e condicionais e Informação mútua 5 Ruído na entropia de Y 6 Capacidade do canal aditivo gaussiano Empacotamento em esferas Noção de constelação Eficiência Espectral x E b /N 0 Processos estocásticos, Entropia e capacidade de canal para24sin

37 Capacidade do canal aditivo gaussiano Para canais discretos estava definido como a máxima informação mútua. No caso de sinais contínuos é a mesma coisa: C = max p(x) {h(y) h(y X )} = max p(x) {h(y) h(n )} = max p(x) {h(y)} h(n ) Se o ruído é gaussiano a sua entropia já foi calculada: h(n ) = log 2 σ n 2πe bits/amostra Agora definimos o ruído com banda passante finita de B e que pode se amostrado a cada T S = 1/(2B) (respeitando assim o critério de Nyquist), que é o tempo de cada amostra. A entropia passa a ser medida em bits/seg. h(n ) = 1 [ log T 2 (2πeσn) 2 1/2] S = 2B log 2 [ (2πeσ 2 n ) 1/2] = B log 2 (2πeσ 2 n) bits/seg Processos estocásticos, Entropia e capacidade de canal para25sin

38 Para ter o máximo em H(Y), H(Y) tem de ser gaussiano, e como y = x + n, e n é gaussiano, então x tem de ser gaussiano também. Quanto mais X se comportar como um sinal aleatório gaussiano mais ele vai ter entropia e mais próximo vai estar no limite da capacidade do canal. O desafio na criação de códigos, sujeito de pesquisa até hoje, é a criação de códigos que tenha um comportamento mais gaussiano possível. C = max p(x) {h(y)} h(n ) A potência em Y é dada por: p y = σ 2 y = σ 2 x + σ 2 n O máximo em H(Y): max p(x) {H(Y)} = 1 2 log 2 { 2πe ( σ 2 x + σ 2 n)} bits/amostra = B log 2 { 2πe ( σ 2 x + σ 2 n)} bits/seg Processos estocásticos, Entropia e capacidade de canal para26sin

39 Considerando que a potência é constante, a capacidade é: { ( C = B log 2 2πe σ 2 x + σn 2 )} { } B log2 2πeσ 2 ( n σ 2 = B log x + σ 2 ) ( ) n px + p n 2 σn 2 = B log 2 ( p n = B log p ) x btis/seg p n Nota intuitiva Quanto menos pot^encia de ruído relaç~ao ao sinal, maior é a quantidade de informaç~ao que eu posso transmitir nesse canal, ou seja, maior é a capacidade. A capacidade do canal é mais sensível à banda passante B que à relaç~ao sinal sobre ruído Processos estocásticos, Entropia e capacidade de canal para27sin

40 Considerando o ruído como branco de densidade espectral de potência N 0 e de banda passante B, a capacidade é: ( C = B log P ) x BN 0 Veja que para P x /(BN 0 ) a relação é logarítmica e que para aumentar a capacidade é melhor aumentar B do que a relação sinal sobre ruído. Esse resultado é um limite teórico para códigos que sejam suficientemente complexos para se aproximar desse limite. Para se aproximar desse limite o sinal deve ter propriedades que se aproximem do ruído gaussiano. Processos estocásticos, Entropia e capacidade de canal para28sin

41 Empacotamento em esferas Luis Henrique Assumpc a o Lolis Processos estoca sticos, Entropia e capacidade de canal para29sin

42 Noção de constelação Processos estocásticos, Entropia e capacidade de canal para30sin

43 Eficiência Espectral x E b /N 0 P = E b C P : potência, E b : energia do bit, C: capacidade (bits/seg) ( C B = log E ) b C E b = 2C/B 1 N 0 B N 0 C/B Quando B se obtém o limite de Shannon: ( E b /N) 0 = 1, 6dB ( ) Eb Eb = lim B = log N 0 N 2 = 0, Processos estocásticos, Entropia e capacidade de canal para31sin

44 Eficiência Espectral x E b /N 0 Processos estocásticos, Entropia e capacidade de canal para32sin