Fundamentos de Telecomunicações

Transcrição

1 Fundamento de Telecomunicaçõe LERCI_FT 7/8: Codificação de Fonte Digitai Profeor Victor Barroo

2 Codificação de Fonte! Objectivo da codificação de fonte: comactar a informação a tranmitir ou a armazenar.! Codificação em erda de informação eliminação de redundância (Teoria da Informação)! Codificação com erda de informação comreão (Teoria da Ditorção)! JPEG (imagen fixa)! MPEG (imagen com movimento) LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide

3 Teoria da Informação! Permite etabelecer limite fundamentai obre:! Eficiência máxima na remoção da redundância da informação gerada ela fonte! Máxima taxa de tranmião oível com fiabilidade máxima! Informação! Conceito bem conhecido em termo qualitativo!! Ma... Como medir quantitativamente? LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 3

4 Medida de Informação...! Incerteza Probabilidade Informação! Fonte dicreta! Determinítica! ???? aída reviívei!! Aleatória! ???? aída não reviívei!! Onde etá o maior ganho de informação?! Na ocorrência de um bit (0 ou ) na aída determinítica?! Na ocorrência de um bit (0 ou ) na aída aleatória? LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 4

5 Medida de Informação...! Dado o acontecimento A com robabilidade de ocorrência P A! Ganho de informação ela ocorrência de A! Informação rória! Unidade de medida bit I A log P A log P A P A LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 5

6 LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 6 Fonte Dicreta em Memória! Alfabeto e ditribuição de robabilidade! Símbolo etatiticamente indeendente! Dada a equência arbitrária (indexada temoralmente) { } M A L : M m M m K K ( ) ( ) ( ) ( ) ( ) n n Pr Pr Pr Pr Pr M K K K K K

7 Informação variável aleatória { } A L M [ 0 [ I : A + 0 m 0 + I m I I I m log ; m Pr( m ) m A m K M m LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 7

8 Informação - Proriedade! Proriedade! o ganho de informação decorrente da ocorrência do acontecimento certo é nulo I m 0 e m! Proriedade! Excetuando o acontecimento certo a ocorrência de qualquer acontecimento roduz ganho de informação I m 0! Proriedade 3! Quanto menor for a robabilidade de ocorrência de um acontecimento maior é a reectiva informação m n I m I n! Proriedade 4! A informação aociada à ocorrência imultânea de acontecimento indeendente é a oma da informação decorrente da ocorrência de cada um dele Pr( m n ) m n I ( m n ) I m + I n LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 8

9 Entroia da Fonte Dicreta em Memória! Valor exectável (valor médio) da variável aleatória I! Informação média or ímbolo da fonte com alfabeto A { M } e ditribuição de robabilidade { M }! Unidade de medida bit /ímbolo H M ( A) E{ I } I log ( log ) m m m M m m m M m m m LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 9

10 Entroia da Fonte Binária em Memória! A { };! H (A ) H ( )! Função de Entroia! Mínima em 0e! H min 0! Máxima em 0.5 ( )! H max H ( ) ( ) log ( ) log LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 0

11 Entroia Proriedade 0 H (A ) log M! H (A ) é mínima (H min 0) e algum do ímbolo de A ocorrer com robabilidade (todo o retante M terão robabilidade de ocorrência 0)! H (A ) é máxima (H max log M ) e todo o ímbolo de A forem equirovávei i.e. L M /M LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide

12 LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide Extenão da Fonte Dicreta em Memória! Alfabeto da extenão de ª ordem (fonte original): A A! Alfabeto e ditribuição de robabilidade da extenão de ª ordem (roduto carteiano de A com A): A A A! Exemlo A A : 0 : m m q q q q q A A

13 Entroia da Extenão da Fonte Dicreta em Memória! H (A ): entroia de uma fonte dicreta em memória com alfabeto A.! A K : extenão de ordem K do alfabeto A. A K A A L A K! Entroia da extenão de ordem K : H (A K ) K H (A ) LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 3

14 Extenão da Fonte Entroia e Comrimento do Código K #A K M K H (A K ) log M K L L med L /K LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 4

15 Código de Comrimento Variável Comrimento Médio! Codificação! Símbolo fonte m com robabilidade m alavra de código c m com l m bit! Comrimento médio do código L med l m m! Decodificação unívoca! c m m em ambiguidade! Decodificação intantânea M m LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 5

16 Exemlo ímbolo fonte robabilidade de ocorrência H (A ) código I.000 unívoco intantâneo código II.50 não unívoco código III.750 unívoco intantâneo de refixo código IV.875 unívoco L med LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 6

17 Deigualdade de Kraft Exite um código binário com alavra de comrimento l m e M ξ l m! Exemlo m! Dado o código de refixo {0 0 0 } verifica-e a deigualdade de Kraft ξ + + 3! A ditribuição de comrimento { 3 3} verifica a deigualdade de Kraft. Então exite um código unívoco intantâneo LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 7

18 º Teorema de Shannon Teorema da Codificação de Fonte! Seja H (A ) a entroia de uma fonte dicreta em memória e L med o comrimento médio da alavra de um eventual código ara a fonte A.! Se ara qualquer ε > 0 L med H (A ) + ε então exite um código unívoco e intantâneo ara a fonte A.! Pelo contrário e L med < H (A ) então não exite qualquer código unívoco e intantâneo ara a fonte A.! Eficiência do código! η H (A ) / L med LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 8

19 Código de Huffman (95) Código de Redundância Mínima Comrimento da alavra de código Palavra de código Símbolo fonte Ditribuição de robabilidade m m m 3 m 4 m L med.30 H (A ).9 η 99.6 % LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 9

20 Codificação de Lemel Ziv (978)! O conhecimento da ditribuição de robabilidade da fonte não é neceário! Faz uo da correlação entre ímbolo adjacente! Contitui norma ara comreão de ficheiro! Imlementação! Percorrer a equência de dado dividindo-a em egmento contituído ela ubequência mai curta ainda não detectada LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 0

21 Algoritmo de Lemel Ziv... Ilutração com a equência ! O ímbolo 0 e etão inicialmente armazenado! Subequência armazenada: 0! Dado ara analiar: ! Analiando da equerda ara a direita a ubequência mai curta ainda não detectada é 00! Subequência armazenada: 0 00! Dado ara analiar: ! Reetindo a ubequência mai curta ainda não detectada é 0! Subequência armazenada: ! Dado ara analiar: LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide

22 Algoritmo de Lemel Ziv Poiçõe numérica ubequência Rereentaçõe numérica Bloco binário codificado LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide

23 Algoritmo de Lemel Ziv... 3 Sequência original: Sequência codificada: aontador inovação Decodificando: Indo ao code boo: Poiçõe numérica ubequência LERCI_FT Liçõe 7 e 8 Fundamento de Telecomunicaçõe Slide 3