Prof. Aleksander S. Paterno

Transcrição

1 Prof. Aleksander S. Paterno Disciplina de Princípios de Comunicações I Teórica ELEMENTOS DE TEORIA DA INFORMAÇÃO AULA em slide 13 20/11/2009 Quarta-feira 15:20 a 17:00 [1]

2 Resumo da aula 13 O que é teoria da informação? Limites impostos em comunicações Compressão: codificação de fonte Controle de erro: codificação de canal Aplicações em outras áreas [2]

3 Introdução à Teoria da Informação C. E. Shannon no artigo fundador da teoria da informação: The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. A mathematical theory of communication - The Bell System Technical Journal, Vol. 27, pp , , July, October, 1948 [3]

4 O que a Teoria da Informação responde? Duas questões fundamentais em Comunicações: 1. Qual a taxa máxima possível de compressão de dados? RESPOSTA: ENTROPIA H DA FONTE m(t) tem um limite de compressão H(gerador de m(t)). 2. Qual a máxima taxa Tx de transmissão em um canal? RESPOSTA: CAPACIDADE DE CANAL C Aumento de Tx não aumenta a probabilidade de erro se Tx<C. C depende da característica do ruído [4]

5 Codificação de fonte Codificador de fonte: tem o objetivo de diminuir o número de bits com que a informação é representada, por meio de técnicas/algoritmos de COMPRESSÃO. Exemplos Câmera digital: encoder(codificador); TV/computador: decoder(decodificador) Camcorder, MP3 Player, câmeras digitais são codificadores de fonte.

6 Codificação de canal Codificador de Canal: tem o objetivo de calcular palavra de bits de forma que a informação possa ser recebida sem erros em canal ruidoso, ao utilizar um decodificador para corrigi-los. Exemplo: Enviar mesmos bits repetidamente e identificar o que mais ocorre Por que a imagem da TV digital chega com qualidade?

7 Sistema de comunicação digital: abordagem de teoria da informação Transmissor Entrada da Fonte Codif. de fonte Codific. de canal. Modulação CONVER- SOR Ruído aditivo + Canal Distorção CANAL Sinal reconstruído Na saída Decodif. de fonte Decodif. de canal Demodulação CONVER- SOR Receptor

8 Informação ão: ponto de vista intuitivo O que é informação? Como quantificá-la? Informalmente: Grau de surpresa que ela pode produzir em quem a recebe. Exemplo: está associada à probabilidade de ocorrência do enunciado na informação Chove em Joinville: P = 1 I = 0. Eu acertei todas dezenas na mega-sena: P ~ 0 I = Qual a função que poderia representar I relacionada a P? Resposta: I ~ log(1/p)

9 Informação ão: ponto de vista da engenharia O que é informação: Na mensagem, quanto mais informação, maior o tempo para transmiti-la. Sejam mensagens m 1 =0 e m 2 =1 equiprováveis P=0.5 Agora, outras mensagens formadas com m 1 e m 2 Código estendido de ordem N=2 4 combinações P=0.25 Caiu P, aumentou o tamanho (tempo) da mensagem Para mensagem binária: I mensagem ~ log 2 (1/P) unidades binárias (bits)

10 Entropia Entropia pode ser entendida como medida de incerteza em uma variável aleatória. Sob o ponto de vista de engenharia: é o menor comprimento em bits com o qual se pode codificar a mensagem Em uma fonte de símbolos, está associada à quantidade média de informação.

11 Exercício cio 1: Em textos em português as seqüências de letras (símbolos) tem uma estrutura estatística. Com a freqüência das letras isoladas em português, calcule a entropia e a entropia supondo todas letras equiprováveis. Solução: H(X)=3.97bits/letra H(X distrib. uniforme)=log 2 (26)

12 Eficiência do código e redundância Eficiência é definida como η=h(x)/(comprimento médio do código) pode ser dado em % Redundância γ = 1-η Quando o comprimento médio é H(X), a redundância é nula pois H(X) é o menor comprimento médio possível

13 Exercício cio 1: Em textos em português as seqüências de letras (símbolos) tem uma estrutura estatística. Com a freqüência das letras isoladas em português, calcule a a eficiência do código (η=h(x)/comprimento médio do código) e a redundância 1-η para essa distribuição das letras. Solução: H(X)=3.97bits/letra H(X distrib. uniforme)=log 2 (26)

14 Codificação de fonte: Pelo teorema de codificação de fonte, H(X) é o número médio de bits mínimo p/ representar X. Código de Huffmann: comprimento variável, se aproxima de H(X), unicamente decodificável. Exemplo: Sejam as mensagens m=(m 1,m 2,m 3,m 4,m 5,m 6 ) com vetor de p=(0.3,0.25,0.15,0.12, 0.1, 0.08) de probabilidades. Verifique a eficiência do código de Huffmann, calculando seu comprimento médio em bits. Se n-ário, deve haver n+k(n-1) mensagens c/ k Z

15 Solução do exercício cio 1) Ordenam-se as probabilidades em ordem decrescente Mens m1 m2 m3 m4 m5 m6 p p* ) Cria-se novo p* combinando as s=2 últimas probabilidades, reordenando-as p** ) Repete-se o processo até que haja 2 probabilidades p** p*** ) Associam-se os bits 0 e 1 às mensagens combinadas, começando pela última redução

16 Exercício cio 2 e 3 Calcule a eficiência e redundância do código de Huffman para a codificação da fonte do exercício anterior Mens p m m m3 m4 m5 m Ex.3: Sejam as mensagens m=(m1,m2,m3,m4,m5,m6,m7,m8,m9) com vetor com r prob., p=(0.24,0.21,0.17,0.13, 0.1, 0.07, 0.04, 0.03, 0.01) probabilidades. Verifique a eficiência do código de Huffmann quaternário, calculando seu comprimento médio em bits. A 1a. redução é feita c/ s ' probabilidades sendo s {2,..,s} e s r(mod s-1)

17 Exercício cio 4 ENADE 1998 Um sistema remoto de aquisição de dados coleta informação na forma de palavras binárias de 3 bits, a uma taxa de 10kbps. Para reduzir a taxa de transmissão e utilizar meios de transmissão mais econômicos, é feita uma codificação das palavras binárias de 3 bits utilizando um código de prefixo de tamanho variável. Palavras-código: {1, 01, 001, 0001, 00001, , , }. Ache o código apropriado e a taxa de transmissão. m1 m2 m3 m4 m5 m6 m7 m8 1% 2% 6% 25% 50% 12% 3% 1%

18 Exercício cio 5 ENADE 1998 Um processador recebe um comando (A, B, C e D) a uma taxa de 10k comandos/s. Cada um está codificado com dois bits. Os comandos codificados são enviados em canal com banda 8,75 khz. a) Determine a taxa de sinalização, em bits por segundo, na saída do processador. b) Explique, considerando a banda passante do cabo, o fato de haver, na prática, uma grande incidência de erros na execução dos comandos. c) Observando a freqüência relativa com que os comandos A, B, C e D obtêm-se freqüências 50%, 25%, 12,5% e 12,5%. Com o objetivo de reduzir a taxa de bits na transmissão dos dados, ache o código de Huffmann apropriado. d) Explique quando o sinal terá sido transmitido sem distorções ou erros. A B C D