Teoria da Informação: o legado de Shannon

Transcrição

1 Teoria da Informação: o legado de Shannon Carlos Salema 3/2/2005 Academia das Ciências 1

2 Índice Introdução Definição e medida da informação Informação do sinal analógico O sistema de comunicação Capacidade do canal binário Transmissão digital Capacidade do canal analógico Codificação Conclusões 3/2/2005 Academia das Ciências 2

3 Introdução Claude Shannon A mathematical theory of communication, Bell System Technical Journal, Vol. 27, 1948, pp e pp Probability of error for optimal codes in a gaussian channel, Bell System Technical Journal, Vol 38 (1959), pp /2/2005 Academia das Ciências 3

4 Introdução Harry Nyquist Certain Topics in telegraph transmission theory, Transactions of the AIEE, Vol. 47, Abril 1928, pp Ralph Hartley Transmission of Information, Bell System Technical Journal, Julho 1928, pp /2/2005 Academia das Ciências 4

5 Introdução Dolinar, S., Divsalar, D. e Pollara, F. Code Performance as a Function of Block Size, TMO Progress Report, Maio /2/2005 Academia das Ciências 5

6 Definição e medida da informação Informação é qualquer mensagem enviada pela fonte ao destinatário e que este só pode conhecer recebendo-a ou adivinhando-a. 3/2/2005 Academia das Ciências 6

7 Definição e medida da informação Se for p a probabilidade do destinatário adivinhar a mensagem a informação I é: 1 I = log 2 = log 2 p p () bit A informação mede-se em dígitos binários, ou bits (do inglês binary digits, proposto por J. W. Tukey) 3/2/2005 Academia das Ciências 7

8 Definição e medida da informação Sejam i = 1, 2,, n mensagens independentes, com probabilidades associadas p i. A informação I do conjunto de mensagens é: n 1 I = log 2 i=1 p i n n = log 1 2 = I i p i i=1 i=1 3/2/2005 Academia das Ciências 8

9 Definição e medida da informação Exemplo1: Qual a informação associada a uma carta retirada aleatoriamente de um baralho? p = I = log 2 = log 2 ( 52) 5.7 bit p 3/2/2005 Academia das Ciências 9

10 Definição e medida da informação Exemplo 2: Qual a informação num texto de 2000 caracteres, em língua desconhecida para o receptor? p = I = log 2 = 2000 log 2 ( 256)= bit p i=1 3/2/2005 Academia das Ciências 10

11 Definição e medida da informação Se os caracteres não forem equiprováveis, a quantidade de informação da mensagem é dada por: n i=1 1 I = p i log 2 p i n i=1 = p i log 2 p i ( ) 3/2/2005 Academia das Ciências 11

12 Informação do sinal analógico Qual a informação de um sinal analógico? s(t) t 3/2/2005 Academia das Ciências 12

13 Informação do sinal analógico Se o sinal analógico tiver uma frequência limite superior b pode ser reconstituído a partir de 2b amostras por segundo. Se cada amostra for quantificada em n níveis (equiprováveis) a informação, por amostra, vale: 1 I amostra = 1 log 2 n n n i=1 = log 2 () n bit 3/2/2005 Academia das Ciências 13

14 Informação do sinal analógico A informação do sinal analógico por unidade de tempo vale: I sinal = 2b log 2 n ()bit/s 3/2/2005 Academia das Ciências 14

15 Informação do sinal analógico Exemplo 3: Qual a informação do sinal de voz? Se o sinal de voz for limitado a 3400 Hz, a amostragem for feita a 2x4 khz e as amostras quantificadas com 256 níveis, a informação é: I voz = 2 4 log ( )= 64 kbit/s 3/2/2005 Academia das Ciências 15

16 Informação do sinal analógico A voz não é um sinal contínuo, há pausas entre palavras e entre-sílabas e nem todos os níveis de discretização são equiprováveis. A informação do sinal de voz tal qual foi descrito, tem irrelevâncias e redundâncias. Com um código apropriado consegue-se transmitir o sinal de voz com qualidade praticamente igual à conseguida com o processo descrito com apenas 8 a 11 kbit/s 3/2/2005 Academia das Ciências 16

17 O sistema de comunicação Fonte Emissor Canal Ruído Receptor Destinatário 3/2/2005 Academia das Ciências 17

18 O sistema de comunicação A fonte Se a fonte usar um alfabeto com n símbolos cada um com probabilidade p i, a informação (ou entropia) por símbolo é: n I = p i log 2 i=1 p i ( ) bit/símbolo 3/2/2005 Academia das Ciências 18

19 O sistema de comunicação A fonte binária Seja uma fonte binária e sejam p e q as probabilidades dos símbolos (0 e 1). A informação por símbolo da fonte é: I fonte = p log 2 (p) q log 2 (q) bit/símbolo 3/2/2005 Academia das Ciências 19

20 O sistema de comunicação I fonte p I fonte = p log 2 (p) q log 2 (q) bit/símbolo 3/2/2005 Academia das Ciências 20

21 O sistema de comunicação O canal binário Um canal transmite à velocidade de v (bit/s) mas alguns bits são recebidos com erro (taxa de erros ber). Qual a velocidade máxima c de transmissão sem erros (capacidade do canal)? 3/2/2005 Academia das Ciências 21

22 A capacidade do canal binário A informação que chega ao receptor não é: I destino = v (1 ber) bit/s Se fosse, para ber = 0.5 I destino = 0.5 v bit/s Mas a informação que chega ao receptor é nula, uma vez que a probabilidade de errar é igual à probabilidade de acertar! 3/2/2005 Academia das Ciências 22

23 A capacidade do canal binário A informação, por símbolo transmitido, que chega ao receptor, é dada por: em que I destino = I fonte I erros canal I fonte = p log 2 (p) q log 2 (q) 1 bit/símbolo com q = 1 p 3/2/2005 Academia das Ciências 23

24 A capacidade do canal binário Admitindo que ambos os símbolos são afectados de igual modo a informação perdida devido aos erros, em bit/símbolo, é: I erros canal = (1 ber) log 2 (1 ber) ber log 2 (ber) 3/2/2005 Academia das Ciências 24

25 A capacidade do canal binário A capacidade do canal (em bit/s) é C = v 1+ (1 ber) log 2 (1 ber) + ber log 2 (ber) [ ] Agora para ber = 0.01 vem C 0.919v e para ber = 0.5 vem, correctamente, C = 0. 3/2/2005 Academia das Ciências 25

26 A capacidade do canal binário c/v ber 3/2/2005 Academia das Ciências 26

27 A capacidade do canal binário Qual a relação entre a largura de banda b e a capacidade do canal? Se o canal tiver uma largura de banda b (em Hz) pode transmitir 2b sinais binários, logo a capacidade C, em bit/s, é: C = 2b 1+ (1 ber) log 2 (1 ber) + ber log 2 (ber) [ ] 3/2/2005 Academia das Ciências 27

28 A capacidade do canal binário Como é que um canal com uma taxa de erros ber pode transmitir sem erros? Recorda-se que a capacidade do canal é a velocidade máxima de transmissão sem erros 3/2/2005 Academia das Ciências 28

29 A capacidade do canal binário Codificação O emissor transforma o sinal da fonte noutro sinal adicionando-lhe bits suplementares que permitem detectar e corrigir os erros da transmissão. O receptor recebe o sinal do canal, corrige-o, usando os bits suplementares, e entrega-o ao destinatário 3/2/2005 Academia das Ciências 29

30 Transmissão digital Considere-se um canal analógico, com ruído aditivo branco e gaussiano, no qual se pretende transmitir um sinal em código polar, isto é um sinal que toma os valores s = + a e s = a. 3/2/2005 Academia das Ciências 30

31 Transmissão digital À saída do canal, o ruído de amplitude x, sobrepõe-se ao sinal. A reconstituição do sinal, é feita com o seguinte algoritmo: Se s + x 0 admite-se que o sinal transmitido foi +a Se s + x < 0 admite-se que o sinal transmitido foi a 3/2/2005 Academia das Ciências 31

32 Transmissão digital Existe erro quando: se transmite s = + a e se recebe s + x < 0 se transmite s = a e se recebe s + x 0 3/2/2005 Academia das Ciências 32

33 Transmissão digital Como x tem uma distribuição de amplitudes gaussiana com média nula e desvio σ p erro = p a 1 σ 2π e x 2 2σ 2 dx + q + +a σ 1 2π e x 2 2σ 2 dx em que p é a probabilidade de transmitir s = +a e q = 1 p a probabilidade de transmitir s = a. 3/2/2005 Academia das Ciências 33

34 Transmissão digital Tomando p = q = 1/2 vem: p erro = 1 2 Erfc a σ 2 em que Erfc é a função complementar de erro. 3/2/2005 Academia das Ciências 34

35 Transmissão digital É habitual representar a probabilidade de erro em termos da energia média de bit e b e da densidade de ruído por unidade de largura de banda n 0. Se o sinal tiver a forma de um pulso rectangular, a energia média de bit é: e b = a 2 3/2/2005 Academia das Ciências 35

36 Transmissão digital Como a potência associada ao ruído é : n = + px ()x 2 dx = σ 2 a densidade de ruído por unidade de largura de banda é: n 0 = σ 2 2b 3/2/2005 Academia das Ciências 36

37 Transmissão digital pelo que a probabilidade de erro vem: Recordando que p erro = 1 2 Erfc e b n 0 E b N 0 db e = 10 log b 10 n 0 3/2/2005 Academia das Ciências 37

38 Transmissão digital p erro E b /N 0 [db] 3/2/2005 Academia das Ciências 38

39 A capacidade do canal analógico Para determinar a capacidade do canal analógico, começa-se por calcular a entropia correspondente à tensão de ruído, admitindo que o seu espectro de potência é branco e limitado superiormente a b, e que a estatística de amplitudes é gaussiana, com média nula e desvio padrão σ. 3/2/2005 Academia das Ciências 39

40 A capacidade do canal analógico O ruído pode ser descrito por 2b amostras, cada uma das quais tem uma distribuição de amplitude gaussiana. Como a informação associada a uma fonte contínua é: I contínua = + px ()log [ 2 px ()]dx 3/2/2005 Academia das Ciências 40

41 A capacidade do canal analógico Uma vez que o ruído é gaussiano: px ()= σ 1 x 2 2π e 2σ 2 a entropia por amostra de ruído vem: I amostra = log 2 2π eσ 2 = 1 2 log2 2π eσ 2 3/2/2005 Academia das Ciências 41

42 A capacidade do canal analógico Atendendo a que a potência associada ao ruído é: n = + px ()x 2 dx = σ 2 Obtém-se a entropia associada às 2b amostras de ruído: I ruído = b log 2 2π en ( ) 3/2/2005 Academia das Ciências 42

43 A capacidade do canal analógico A entropia de um sinal (analógico) com potência s a que se adiciona ruído com potência n, tem uma entropia dada por: I sinal mais ruído = b log [ 2 2π es+ ( n) ] 3/2/2005 Academia das Ciências 43

44 A capacidade do canal analógico A capacidade do canal analógico é a diferença entre a entropia do sinal mais ruído e a entropia do ruído: c = b log 2 1+ s n bit/s 3/2/2005 Academia das Ciências 44

45 A capacidade do canal analógico A capacidade do canal telefónico, com 3.4 khz com uma relação sinal-ruído de S/N = 40 db (boa qualidade), ou seja, s/n= 10 4 é C = 45.2 kbit/s 3/2/2005 Academia das Ciências 45

46 A capacidade do canal analógico Retomando a capacidade do canal analógico c = b log 2 1+ s n bit/s Como s = e b f b (em que f b é a frequência de bit) e n = n 0 b a capacidade c vem: c = b log 2 1+ e b f b n 0 b bit/s 3/2/2005 Academia das Ciências 46

47 A capacidade do canal analógico e b n 0 f b b << 1 c = f b log e () 2 e b bit/s n 0 f b c e b n 0 log e 2 () ou E b N db 3/2/2005 Academia das Ciências 47

48 A capacidade do canal analógico p erro? E b /N 0 (db) 3/2/2005 Academia das Ciências 48

49 Codificação A solução é a codificação: introdução de bits adicionais na mensagem que permitem detectar e corrigir erros. Para manter a potência do sinal há que reduzir a energia média por bit o que, por si só aumenta a probabilidade de erro de bit. A troca compensa como se irá demonstrar. 3/2/2005 Academia das Ciências 49

50 Codificação Os códigos caracterizam-se por dois inteiros, (n,k). Para cada k símbolos de entrada o código produz n símbolos de saída. Designa-se por razão do código r c = k n Na prática 1/2 r c 1 3/2/2005 Academia das Ciências 50

51 Codificação O ganho de codificação depende: da razão do código r c, aumentando quando r c diminui; do valor de k, aumentando quando k aumenta. 3/2/2005 Academia das Ciências 51

52 Codificação O limite mínimo de e b /n 0 pode ser escrito em termos da razão do código. c = b log 2 1+ s n = b log 2 1+ e b c n 0 b c 2b = 1 2 log 2 1+ e b c n 0 b 3/2/2005 Academia das Ciências 52

53 Codificação Substituindo c em termos da razão de código e 2r cmax = log r b cmax n 0 e b n 0 22rcmax 2r cmax 1 E b 2 2rcmax 1 10 log 10 N 0 2r cmax 3/2/2005 Academia das Ciências 53

54 Codificação E b /N 0 [db] r c max 3/2/2005 Academia das Ciências 54

55 Codificação Para a mesma razão de código, um código é tanto mais eficaz quanto maior for o comprimento n do bloco de dados codificados. Com códigos que detectem e corrijam todos os erros até 1/7 do seu comprimento a probabilidade de um bloco com erros é: p bloco = n i= n 7 +1 n i i p bit ( 1 p bit ) n i 3/2/2005 Academia das Ciências 55

56 Codificação p bloco n = 7 p bit n = 70 n = 700 3/2/2005 Academia das Ciências 56

57 Codificação Informação Código u 1 u 2 u = M u k Código de bloco x = G u [ ] mod 2 x 1 x 2 x = M x n 3/2/2005 Academia das Ciências 57

58 Codificação Código de repetição (3,1) 1 G = 1 1 Cada bit é repetido 3 vezes e, na recepção, a decisão é por maioria. A probabilidade de erro de bloco é: p bloco = 3 2 p bit 2 ( 1 p bit ) 3/2/2005 Academia das Ciências 58

59 3/2/2005 Academia das Ciências 59 Codificação Código de Hamming (7,4) x = G u [ ] mod 2 = G = u =

60 Codificação O código de Hamming (7,4) detecta e corrige todos os erros simples (1 bit), pelo que a probabilidade de erro de bloco é p bloco = 7 i= 2 7 i i p bit ( 1 p bit ) 7 i 3/2/2005 Academia das Ciências 60

61 Codificação Com o código polar para e b /n 0 = 7 tem-se p bit pelo que a probabilidade de um bloco de 4 bits ter 1 ou mais bits errados é p bloco = Com o código de Hamming (7,4) com e b /n 0 = 4 vem p bit e a probabilidade de um bloco de 7 bits, com 4 de informação ter 1 ou mais bits errados é p bloco = /2/2005 Academia das Ciências 61

62 Codificação O código de Hamming (7,4) está longe do limite de Shannon, o que não é de espantar dado o baixo comprimento do bloco de código. Em 1959 Shannon deduziu expressões para o ganho de codificação máximo, em função do comprimento do bloco de código. Em 1998, Dolinar, S. et al., calcularam estes limites para comprimentos de bloco curtos. 3/2/2005 Academia das Ciências 62

63 Codificação 3/2/2005 Academia das Ciências 63

64 Conclusões Shannon: definiu e criou uma medida para informação estabeceu o limite para a velocidade de transmissão da informação sem erros, estabeleceu limites para o ganho de codificação, função da razão do código e do comprimento do bloco. 3/2/2005 Academia das Ciências 64

65 Conclusões A investigação actual procura criar códigos que se aproximem tanto quanto possível do limite de Shannon 3/2/2005 Academia das Ciências 65

66 Conclusões Muito obrigado pela vossa atenção 3/2/2005 Academia das Ciências 66