A desigualdade de Kraft e correlatos

Transcrição

1 A desguadade de Kraft e correatos Defções remares Códgo ão sguar: símboos dferetes s são reresetados or códgos dferetes c ; Códgo uvocamete decodfcáve: se símboos cocateados (s s s 3... s k) são reresetados or um códgo ão sguar cocateado (c c c 3... c k); Códgo statâeo (ref code): se ehum códgo é refo de outro códgo (estes códgos cada aavra códgo ode ser decodfcada assm que recebda). A fgura abao ustra a deedêca etre estas casses. Todos códgos ão sguar uvocamete decodfcáve statâeo Desguadade de Kraft Um códgo statâeo com aavras de códgo de comrmeto,,..., este se e somete se. Ates da demostração forma aresetam-se agus eemos ara uma mehor arecação. Símboos da fote Códgo A Códgo B Códgo C Códgo D Códgo E Códgo F Códgo G s s s s 0 0 Códgo - Eceto o códgo, todos os códgos são ão sguares, assm o códgo será descosderado de quaquer cometáro adcoa; - O códgo D ão é uívocamete decodfcáve (recebdo o códgo 0, or eemo, ão se sabe ser s segudo de s ou s 3); dem ara os códgos E (obtdo de D ea suressão de um 0 em s ) e F; estes códgos oderam ser usados com vrgua o que reresetara um acréscmo o comrmeto do códgo; - O códgo G é uvocamete decodfcáve, mas ão é statâeo (ote que o bt 0 rereseta o íco da aavra semre; orém, recebdo 0, or eemo, ão é ossíve decodfcar medatamete os ão se sabe se vrá mas um ou dos s em seguda); - O códgo B é statâeo orém súerfuo os o símboo s odera ter o códgo 0 (mas curto como em C); - Os códgos A, B e C são statâeos.

2 - A somatóra a desgudade de Kraft ara os város códgos os forece Códgo A Códgo B Códgo C Códgo D Códgo E Códgo F Códgo G Códgo 0,875,5,5 0,9375,75 O que a desgudade de Kraft garate é que estem códgos statâeos com os comrmetos dos códgos A, B, C, D e G, mas ão ara os de comrmeto como os códgos E, F e. os casos eemfcados como D e G (que são ão statâeos) a desguadade os garate que com estes comrmetos estem codgos statâeos. ote que o caso D os comrmetos são guas aos de C (que é statâeo) e o caso G ode-se costrur um códgo statâeo, com o mesmo comrmeto das aavras orgas, smesmete vertedo-se as codfcações dos símboos s a s. Códgo G A róma questão que surge é: qua destes códgos é mas curto? Para sso recsa-se saber as robabdades de ocorrêca dos símboos. Seam, or eemo, as segutes robabdades ara os símboos - Os comrmetos médos m (s) Símboos (s ) da fote s / s / s 3 /8 s /8, em bts, dos város códgos aresetados são Códgo Códgo Códgo Códgo Códgo Códgo Códgo Códgo A B C D E F G m,75,875,65,5,875,5 - O que também será demostrado adate é que a etroa da fote é o mte feror ara o comrmeto médo das aavras de códgo utzadas ara codfcar os símboos da fote, sto é, m (s). este caso artcuar a etroa da fote é dada or (s) (s )og (s,75 bts e observa-se etão que, dos eemos dados, aeas o códgo C ) é ta que seu comrmeto médo é umercamete gua à etroa da fote.

3 - Será demostrado ada que a codfcação ótma, o setdo de mmzação do comrmeto médo das aavras de códgo statâeas, é ta que og. Observa-se etão que, estas crcustâcas, ode-se escrever m og (s) e sso acotece, os eemos dados, aeas o códgo C (deomado códgo de uffma). Com esta trodução ode-se agora fazer as demostrações. Teorema (desguadade de Kraft) Um códgo statâeo com aavras de códgo de comrmeto,,..., este se e somete se. Demostração Para a codção ecessára sea uma codfcação em árvore bára como abao ustrado Cada aavra códgo é reresetada or uma termação desta árvore (o caso da fgura, or eemo, temos aavras códgos 000, 0, 0 e ). Um códgo ser statâeo sgfca que ehuma aavra códgo é refo de outra aavra códgo. Assm cada aavra códgo ema todos seus descedetes a árvore como caddatas a aavras códgo. Sea o comrmeto da aavra códgo mas oga. Uma aavra códgo o íve tem os coutos que formam os descedetes são dsutos, ode-se escrever descedetes. Como e ortato. Para a codção de sufcêca demostra-se que dadas aavras códgo de comrmetos,,..., que satsfazem a desguadade de Kraft ode-se semre costrur um códgo statâeo em árvore. Parte-se de uma árvore cometa ode todos os ramos têm comrmeto. Assume-se, sem erda de geeradade, que os comrmetos são escohdos em ordem crescete. Ache um códgo de comrmeto e eme todos seus descedetes. Faça o mesmo ara, etc até que todos esteam todos fados. É óbvo que ode ser achado. Para que o agortmo fucoe deve haver em cada asso termações vres de comrmeto. Mas o úmero de termações vres é dado or ( ) > ( ) 0 ode usou-se o fato dos comrmetos satsfazerem a desguadade de Kraft. Isto mostra que estem termações vres em cada asso e assm, ode-se costrur um códgo em árvore statâeo com os comrmetos das aavras códgo dadas. O resutado ode ser esteddo ara códgos uvocamete decodfcáves (quado etão assa a deomar-se desguadade de Kraft-McMa) e, adcoamete, geerazado ara sstemas de codfcação ão bára D. Para estas duas demostrações vde ref. [] e [].

4 Teorema O comrmeto médo das aavras de códgo de códgos statâeos é mtado suerormete ea etroa da fote, sto é, og (s) com a guadade ocorredo se e aeas se og. m Demostração Sea a dfereça (s) (s) m m og [og ] [og og ] og ode utzou-se o fato de que - e a desguadade de Kraft. ( ) 0 e ortato (s) 0 Famete, ote que com og revaece a guadade m (s) (como o eemo do códgo C aresetado aterormete). Uma outra forma ateratva ara a dedução desta útma codção é resovedo o robema de mmzação do comrmeto médo da aavra sueto à desguadade de Kraft, sto é Mmzar m Sueto à restrção Probemas desta casse odem ser resovdos com o uso dos mutcadores de Lagrage. Sea etão J + λ Dervado J em reação a cada e guaado a zero tem-se J λ 0 que forece etão. λ Da restrção mosta tem-se dode vem etão que ou og. λ λ Observação adcoa: Do teorema ercebe-se que ode acotecer do comrmeto ão resutar tero. este caso deve-se adotar o meor tero maor que og ; mas ara tato, camete, é og, deotado aqu como ecessáro verfcar se ada obedece à desguadade de Kraft. ( og ) ( og ). A esta costrução deoma-se codfcação de Shao-Fao. m Para esta costrução a aavra de códgo terá um comrmeto o tervao og og e cacuado a + eseraça desta eressão vem que E[ og ] E[ ] E[ og ] e ortato (s) m (s) +. +

5 Teorema 3 Dado ta que <0,5 e a fução ) [ og + ( )og ( ) ] Demostração Ω é váda a desguadade ( Ω () ( + ( ) ) ( ) ( ) ( ) a rmera desguadade fo usado um trucameto e os termos desrezados são semre ostvos; a seguda desguadade utzou-se o fato de /(-) ser semre meor do que um, com a restrção de ser meor que 0,5, e que assm otêcas sucessvas de /(-) vão dmudo (evdecou-se o útmo que é o meor). Assm Assm tem-se que ( ) ( ) () () Ω Mas, or outro ado, [ ( ) ] og + og ( ) [ og + ( )og ( ) ] () Assm Ω () og () Ω () ( ), de ode sa etão que. Esta desguadade é utzada a demostração da caacdade de caas. Observação fa A descrção deste aeo ão é cometa e sm comemeta o aresetado o vro teto [3]. Referêcas Bbográfcas [] Eemets of Iformato Theory, Thomas M. Cover ad Joy A. Thomas, 006. [] Iformato Theory ad Codg, orma Abramso, 963. [3] Moder Dgta ad Aaog Commucato Systems, B. P. Lath, 998. PJEJ 0/08/07