1 (0,8 ln0,8+0,2 ln0,2) 0,512 0,512 0, , , , , , , , , ,

Transcrição

1 GABARITO DA TERCEIRA LISTA DE EXERCÍCIOS DE PTC-3 TEORIA DA INFORMAÇÃO E CODIFICAÇÃO Questão Uma fote de formações dscreta e sem memóra emte símbolos A e B com robabldades P(A =,8 e P(B =,. a calcule a etroa H (bts/símbolo dessa fote; b use o códgo de Huffma ara codfcar, com dígtos báros, a tercera extesão dessa fote (AAA, AAB, ABA...; c determe o comrmeto médo L das alavras desse códgo; comare esse comrmeto com H e comete. A etroa da fote calcula-se or a H(X = log = - (,8log,8+,log, = b =,4469(,785+,389 =,79 (,8l,8+,l, l L Códgo Símbolos P(. /cód. P(. /cód. P(. /cód. P(. /cód. P(. /cód. P(. /cód. P(. /cód. resultate Trlo AAA,5,5,5,5,5,5,5 3 AAB,8,8,8,8,3,56,488 3 ABA,8,8,8,8,8,3 3 BAA,8,8,8,8,8 5 ABB,3,4,64,4 5 BAB,3,3,4 5 BBA,3,3 5 BBB,8 c L 3 (médo=5(3,3+,8+3(3,8+,5 =,5+,5+,5=,84 dígtos báros/3 símbolos ou mesagem trla. A etroa dessa tercera extesão é H 3 (S=3H(S= 3,79=,6576 bts/mesagem trla ou 3 símbolos e rereseta o mímo comrmeto médo atgível. Calculado L 3 (médo/h 3 (S =,84 /,6576 =,84 e assm a codfcação é aroxmadamete,84 % maor do que a míma ossível. Questão Cosdere o caal báro abaxo reresetado, em que são dadas as robabldades a ror =,7 e as de erro P(y x =, e P(y x = y P(y y P(y

2 Determe P(y ara =, ; a etroa da etrada, H(X; a etroa da saída, H(Y; a equvocação de X em relação a Y, H(X Y; a formação mútua, I(X;Y através de H(X e H(X/Y; a caacdade do caal or símbolo C s ; e, a artr dos tes aterores, a equvocação de Y em relação a X, H(Y X. Obs. Coloque semre as udades corresodetes e dê uma terretação físca ara cada tem calculado. a Da fgura sa que: P(y x =, (dado P(y x =,8 P(y x = P(y x = P(y = P(y x + P(y x =,7,8 +,3 =,56 P(y = P(y x + P(y x =,7, +,3=,44 b H(X = log = - (,7log,7+,3log,3 =,4469(,4967 +,369 =,888 bts or símbolo; c H(Y = P(y log P(y = - (,56log,56+,44log,44 =,4469(,3469 +,363=,98957 bts or símbolo; d Para a determação de H(X Y = P(y log y P(y x P(y x y = com, =, P(y x P(y = y (,7l,7+,3l,3 = l (,56l,56+,44l,44 = l calculam-se calmete os termos P(y x,8,7 P(y x,3 y = = y = = = ; P(y,56 P(y,56 = x,,7 x,3 y = =,388 y = = =, 688 ; P(y,44 P(y,44 = Destes resultados sa etão que H (X Y,688 = = P(y log y y = -,56(log+Log -,44(,388log,388+,688log = -,44 (,388log,388+,688log,688 = -,4469,44(,388l,388+,688l,688 =,63478(,36436+,63 =,3975 bts or símbolo; e d I(X;Y = H(X - H(X Y =,888 -,3975 =,4843 bts or símbolo; f A formação mútua ode ser escrta também como I(X;Y = H(Y - H(Y X dode sa etão que H(Y X = H(Y - I(X;Y =,98957-,4843 =,5534 bts or símbolo; 3a. Questão São dadas 8 bolas, todas dêtcas exceto uma, que é mas esada, e uma balaça de ratos. Usado exclusvamete cocetos de Teora da Iformação, exlque - e ustfque - como localzar a bola mas esada usado o mímo úmero de esages.

3 Das 8 bolas a quatdade de formação dsoível é I b =log(/8, suodo-as dêtcas. Como em cada esagem ode-se ter uma quatdade de formação I =log(/3, corresodete às três alteratvas: ede à esquerda, à dreta ou fca em balaço, recsa-se de, o mímo, I b /I = log(/8/log(/3=4 esages ara chegar à bola mas esada. Observação: a é fácl verfcar que se deve colocar 7 bolas em cada rato a rmera esagem (e dexado-se outras 7 fora e com sso determa-se em qual gruo (dos 3 de 7 bolas está a mas esada; a segur, serão 9 bolas or rato da balaça a seguda esagem, 3 a tercera e, falmete, uma a quarta; b o roblema ode ser geeralzado ara um úmero arbtráro de bolas e aeas sabedo-se ser uma dferete (odedo ser mas esada ou mas leve. Ω ( 4a. Questão Demostre que Strlg! e π, válda ara. ode Ω ( = [ log + ( log ( ] A exressão a ser demostrada ode ser reescrta como log ( = ( e e π π ( e = π Ω ; e desta π log log log log log ( = = π π e ara o (ode vale a desgualdade de Strlg últmo termo tede a zero, ortato log = log log = log ( log( = Ω (., usado a aroxmação de ; assm fazedo-se = tem-se P(y / x / x / 3 / 3 5a. Questão Um caal báro é caracterzado ela matrz = P(y / x / x / 9 / Cosdere =/3 e determe H(x, H(x y, H(y, H(y x e I(x;y. Como =/3 =/3 e etão P(y = P(y x + P(y x =/3/3+/3/=3/ P(y = P(y x + P(y x =/3/3+/39/=3/ 3 (y = P(y log P(y = log 3 3 log 3 3 = ( log log 3 3 H (x = log = log 3 log 3 3 = ( log 3 log H H(y x = P(y log = P(y 3 9 = ( log 3 + ( log = log { ( log ( 3 log + 9 log } =, =,98 =,867

4 Dode sa etão I(x;y=H(y-H(y x=,867-,68=,49. Para a determação de H(x y ode-se usar a relação I(x;y=H(x-H(x y que forece etão H(x y=h(x-i(x;y=,98-,49=,669. Para efeto de aredzado, cofere-se o resultado a artr da exressão de defção: H (x y = P(y y log y P(y x P(y x y = = com, =, P(y x P(y P(y x 3 3 y = = = ; P(y 3 3 P(y x y = = = e P(y 3 3 E assm tem-se H(x y= = P(y { y log + y ; ara tato calculam-se calmete os termos P(y x 3 3 y = = ; P(y P(y x 3 7 y = =. P(y 3 3 = = ylog } + { ylog y y = { log } + { log } = { ( log + ( log log } =,669 7 y log y } 6a. Questão Cosdere o caal abaxo reresetado com as robabldades codcoas P(y x dcadas. x y,5 x,5,5 x,5 y Determe a caacdade do caal e a corresodete dstrbução de etrada ara =,, 3. H(y x - - = P(y logp(y = [P(y [P(y logp(y logp(y + P(y + P(y logp(y logp(y ] = ]- [P(y logp(y + P(y - [log ] [,5log,5 +,5log,5] [,5log,5 +,5log,5] = + Por smetra a maxmzação = e seam estas robabldades deotadas or, assm: logp(y ]

5 = = e =- e ortato H (y x = P(y = P(y x + P(y x + P(y x =(-+,5+,5=- P(y = P(y x + P(y x + P(y x =(-+,5+,5= H(y = P(y log P(y = [( log( + log ] e ortato deve-se maxmzar I(x,y I(x;y= [( log( + log ]. Dervado e gualado a zero vem I(x; y = [( log( + log + ] = que resolvdo forece = Assm C=I max (x,y= [( log ( ] = ( log =, log E as robabldades à ror que maxmzam a caacdade de caal são dadas or =,6 e = =,. 7a. Questão Uma fote emte 7 mesages com robabldades /3, /3, /9, /9, /7, /7 e /7, resectvamete. a Determe a etroa desta fote; b Faça uma codfcação comacta de Huffma terára; c Determe o comrmeto médo das alavras resultates e a efcêca da codfcação; d Reta os dos últmos tes agora ara uma codfcação comacta de Huffma bára; a A etroa determa-se or (calculado em base 3 = 4 3 (x log = log3 log3 3 log = + + = 9 =,444 udades tr-áras H 3 de formação ou etão H(x=,444 log 3 =, 89 bts. b Comrmeto L Símbolos smles P(. M /3 M /3 M3 /9 M4 /9 3 M5 /7 3 M6 /7 3 M7 /7 P(. /3 /3 /9 /9 /9 P(. /3 /3 /3 Códgo resultate c o comrmeto médo é dado or: L d 4 3 = L = = + + e com efcêca η=h(x/l m =% m =

6 Comrmeto L Símbolos smles P(. P(. P(. P(. P(. P(. Códgo resultate M /3 /3 /3 /3 /3 /3 M /3 /3 /3 /3 /3 /3 3 M3 /9 /9 /9 /9 /3 4 M4 /9 /9 /9 /9 5 M5 /7 /7 /9 6 M6 /7 /7 6 M7 /7 d o comrmeto médo é dado or: Lm = L = =,47 com efcêca η=h(x/l m =,89/,47=95, %. Questão 8 Uma fote de formações dscreta e sem memóra emte símbolos A, B e C com robabldades P(A =,7; P(B =, e P(C =,. a Calcule a etroa H (bts/símbolo dessa fote; b Use o códgo de Huffma ara codfcar, com dígtos báros, a seguda extesão dessa fote (mesages AA, AB, AC, BA etc; c Determe o comrmeto médo L das alavras desse códgo; comare com H e comete.

7 (x = log,7 log,7, log,, log, = [,7 log,7 +, log, +,log,] = =,5678 bts/símbolo log H AA,49 AA,49 AA,49 AA,49 AA,49 AA,49 AA,49 AB,4 AB,4 AB,4 AB,4 AB,4 AC,CA,BC,CB,CC,BB,3 AB,BA,8 BA,4 BA,4 BA,4 BA,4 BA,4 AB,4 AC,CA,BC,CB,CC,BB,3 AC,CA,4 BA,4 BB,BC,CB,CC,9 BC,CB,CC,BB,9 AC,7 AC,7 AC,7 AC,7 CA,7 CA,7 CA,7 CA,7 BC,CB,CC,5 BB,4 BB,4 BB,4 CB,CC,3 BC, BC, CB, CC, Cotuação: AB,BA,AC,CA,BC,CB,CC,BB,5 AA,49 L m =,49 + 3(,4 +,4 + 4(,7 +,7 +,4 + 5, + 6(,+, =,33 bts/símbolo dulo e ortato L m / =,65 bts/símbolo; aeas,7 % maor do que o mímo alcaçável (etroa da fote.