Descodificação iterativa

Transcrição

1 Sílvio A. Abrantes DEEC/FEUP 26 Descodificação iterativa 2 Descodificação de códigos LDPC por transferência de mensagens em grafos de Tanner

2 Introdução Diagrama de blocos de um sistema genérico de codificação e descodificação: x x x n y y y 2 y n u u u 2 u k Codificador Canal Descodificador û Exemplo de matriz H de um código LDPC regular: H Seis bits por linha Três bits por coluna Código LDPC (3, 6) Um grafo de factores: x x 3 x 4 h h 2 h 3 g( x, x, x, x ) h ( x, x ) h ( x, x ) h ( x, x, x ) SAM/26 Descodificação iterativa de códigos LDPC 2

3 Introdução aos grafos de factores Código de Hamming (7,4) x x 3 x 4 x 5 x 6 x 7 H f f 3 Equações de paridade: x x x x x x x x x x x x Grafo de factores e funções identificadoras de pertença binárias: x x2 x3 x5 f( x, x2, x3, x5) δ ( x x2 x3 x5) x x2 x3 x5 f ( x, x, x, x ) δ ( x x x x ) f ( x, x, x, x ) δ ( x x x x ) x em que δ ( x) x (delta de Kronecker) Grafo de Tanner desenhado como um grafo de factores: x f x 3 x 5 x 6 x 4 f 3 x 7 SAM/26 Descodificação iterativa de códigos LDPC 3

4 Grafos de factores de canais sem memória (BSC e AWGN) Num canal sem memória as n transmissões de símbolos são independentes probabilidade condicional conjunta a priori p(y x) é igual ao produto das probabilidades condicionais individuais p(y i x i ): p( y x ) py (, y,, y x, x,, x) py ( x) 2 n 2 n i i i n p(y x ) p(y 2 ) p(y 3 x 3 ) p(y 4 x 4 ) p(y 5 x 5 ) p(y 6 x 6 ) p(y 7 x 7 ) x x 3 x 4 x 5 x 6 x 7 Canal BSC: x P(y x) y -p p p -p Canal AWGN: f (y i ) N (-,σ 2 ) f - (y) - y i f - (y i ) f (y) N (,σ 2 ) y f ( y ) pyx ( ) i i i f ( y ) f ( y ) i i f ( y ) pyx ( ) i i i f ( y ) f ( y ) i 2 2 exp( 2yi σ ) exp( 2yi σ ) i SAM/26 Descodificação iterativa de códigos LDPC 4

5 Grafo de factores de um canal em série com um descodificador de canal binário p p 2 p 3 p 4 p 5 p 6 p 7 x x 3 x 4 x 5 x 6 x 7 Canal BSC Descodificador f f 3 py ( x ) p i i i variável x i questiona f j sobre as opiniões que os outros x i têm dela e f j responde-lhe com as opiniões que conhece: q p( x ~{ f }, y ) mensagem do nó de variável x i para o nó de ij i j paridade f j é a probabilidade de x i ter um certo valor, dado o valor observado dessa variável (a quantidade p(y i x i )) e dados os valores que recebeu dos outros nós de paridade r p( x, f () y ) mensagem do nó de paridade f j para o nó de ji i j variável x i é a probabilidade de x i ter um certo valor e a equação de paridade f j ser satisfeita, dado que se recebeu y Início da difusão de mensagens dos nós de variáveis para os nós de paridade: f A p i f A x i p i f B x i p i p i f B f C p i f C SAM/26 Descodificação iterativa de códigos LDPC 5

6 Transferência de mensagens entre nós de grafos bipartidos Significado das mensagens Exemplo com a mensagem r x x 3 x 5 r (x ) f r r () p( x, f ( x, x, x, x ) y ) Mas f( x, x2, x3, x 5) x x2 x3 x r p( x, x x2 x3 x5 y) px ( x x y) A soma dos três bits, x 3 e x 5 é igual a em quatro situações mutuamente exclusivas: Soma igual a, x 3, x 5, x 3, x 5, x 3, x 5, x 3, x 5 r p( x, x, x y) p( x, x, x y) px (, x, x y) px (, x, x y) SAM/26 Descodificação iterativa de códigos LDPC 6

7 Transferência de mensagens entre nós de grafos Exemplo de transferência de mensagens entre nós de grafos bipartidos p 2 2 x x 3 x 4 x 5 x 6 x 7 3 p 2 p 2 p 2 r 2 r 22 f f f 3 f Mensagens enviadas por Mensagens recebidas por f e Mensagens que f e enviam a p 2 q 2 q 22 r 2 r 22 f f f Mensagem enviada por a f Mensagem enviada por a Mensagens que f e enviam a. No início a variável espalha pelos nós de paridade f e a mensagem a priori (isto é, a estimativa de probabilidade) que recebeu do canal, p Mas o nó f também recebeu estimativas de x, x 3 e x 5 e o nó também recebeu estimativas de x 3 e x Cada um dos nós f e processa as mensagens que não vieram de e envia a esta o resultado (r 2 e r 22, respectivamente). 4. O processo agora repete-se com as mensagens a circular das variáveis para os nós de paridade e destes para as variáveis: por exemplo e voltando à variável, esta envia a f uma mensagem q 2 baseada no que os outros nós de paridade, p 2 e, lhe enviaram, e envia a uma outra mensagem, q 22, esta baseada no que recebeu de p 2 e f. 5. Os nós f e enviam a novas mensagens mais refinadas. Note-se que cada nó de paridade do canal envia a x i sempre a mesma mensagem p i em todas as iterações. SAM/26 Descodificação iterativa de códigos LDPC 7

8 Regras de actualização de mensagens probabilísticas com o algoritmo da soma-e-produto Regras de actualização de mensagens com variáveis binárias Do nó de variável x i para o nó de paridade f j : q K p r (com Kij ) p r ( p ) ( r ) ij ij i j i j j i ji i ji j j j j Do nó de paridade f j para o nó de variável binária x i : 2 rji ( 2 q ij ) ou i i rji ( 2 q i j ) 2 i i K ij factor de normalização No fim das iterações: p( xi y ) qi Kijpi r ji (limiar de decisão:,5) (produto de todas as mensagens confluentes na variável x i ) j Indicação das mensagens envolvidas nos cálculos através da adaptação da matriz H (exemplo do código de Hamming (7,4)): [ p p2 p3 p4 p5 p6 p7] r r2 r3 r5 r22 r23 r24 r26 r r r r [ p p2 p3 p4 p5 p6 p7] r r2 r3 r5 r22 r23 r24 r26 r r r r q q2 q3 q5 q22 q32 q42 q62 q q q q q q2 q3 q5 q22 q32 q42 q62 q q q q SAM/26 Descodificação iterativa de códigos LDPC 8

9 Regras de actualização de mensagens probabilísticas: um exemplo Como calcular as mensagens enviadas pelos nós da figura? Dos nós de variáveis para os nós de paridade r 3 f q 3 f v 3 p 3 r 33 f 3 v 3 p 3 r 33 f 3 r 43 f 4 r 43 f 4 Dos nós de paridade para os nós de variáveis v v v 2 q 2 v 2 q 2 v 3 q 22 q 32 v 3 r 22 q 32 v 4 q 42 v 4 q 42 Mensagens que o nó de variável v 3 envia aos nós de paridade: q3 K3p3r33 r43 (sendo K3 ). p3r33r43 ( p3)( r33)( r43) pr 3343 r q33 pr 3 3r43 ( p3)( r3)( r43) pr 3333 r q34 p r r ( p )( r )( r ) Mensagens que o nó de paridade envia aos nós de variáveis: 2 r ( 2 q )( 2 q )( 2 q ), r ( 2 q )( 2 q )( 2 q ) r ( 2 q )( 2 q )( 2 q ) r ( 2 q )( 2 q )( 2 q ) Expressão alternativa (exemplo para r 22 ): r q ( q )( q ) q ( q )( q ) q ( q )( q ) q q q SAM/26 Descodificação iterativa de códigos LDPC 9

10 Por que é que é necessário um factor de normalização? Sem normalização as estimativas de probabilidades que as variáveis enviariam aos nós de paridade seriam sempre inferiores às estimativas que deles tinham recebido dado estas serem sempre inferiores a um. Por exemplo, se uma variável de grau 4 recebesse os valores,6,,9 e,8 de três nós de paridade a estimativa que iria enviar para o quarto nó seria, sem normalização, igual ao produto,6,9,8,432. Suponhamos um caso simples de uma variável x de grau 3 que recebe as mensagens r e r 2 e vai disso informar o nó de paridade 3 enviando-lhe a mensagem q K r r Ora deverá também ser q K ( r )( r ) Combinando as duas expressões concluímos que o factor de normalização a usar é K 3 r r ( r )( r ) 2 2 Ou seja, no exemplo inicial a mensagem normalizada vale:, 6,9,8,98, 6,9,8, 4,, 2 o que é bem mais razoável que o valor não normalizado,432. SAM/26 Descodificação iterativa de códigos LDPC

11 Simplificação: o algoritmo max product Dos nós de variáveis para os nós de paridade r 3 f q 3 f v 3 p 3 r 33 f 3 v 3 p 3 r 33 f 3 r 43 f 4 r 43 f 4 Dos nós de paridade para os nós de variáveis v v v 2 q 2 v 2 q 2 v 3 q 22 q 32 v 3 r 22 q 32 v 4 q 42 v 4 q 42 Vimos atrás que r 22, por exemplo, era calculado assim: ou 2 r ( 2 q )( 2 q )( 2 q ) r q ( q )( q ) q ( q )( q ) q ( q )( q ) q q q No algoritmo max-product, em vez desta soma toma-se apenas a maior parcela: r max( q ( q )( q ), q ( q )( q ), q ( q )( q ), q q q ) Ou seja: A regra de actualização das mensagens de variáveis é a mesma que antes (um produto). As mensagens dos nós de paridade são calculadas através de uma aproximação (um valor máximo). SAM/26 Descodificação iterativa de códigos LDPC

12 Regras de actualização de mensagens logarítmicas Em vez de probabilidades vamos fazer circular logaritmos de razões de probabilidades ( log-likelihood ratios, LLR): py ( ) ln i xi p ln i L( pi ) py ( x ) p i i i (em canais binários simétricos) rij () rij Lr ( ij ) ln ln r () r ij qij () qij Lq ( ij) ln ln q () q Actualização de mensagens LLR Do nó de variável x i para o nó de paridade f j : ij ij ij L( qij ) L( pi ) L( r j i) Do nó de paridade f j para o nó de variável x i : j j Lr ( ji) 2tanh tanh ( Lq ( i j ) 2) i i Φ Φ( Lq ( ij )) i i No fim das iterações: L( x y ) L( q ) L( p ) L( r ) (limiar de decisão: ) Notas: e. tanh( x) e x x e e x x 2. Φ ( x) tanh( ) i i i ji j e tanh( ) e x x x tanh ( x) ln 2 x 3. Expressão alternativa equivalente: Φ ( Lr ( ji) ) Φ( Lq ( i j )) i i SAM/26 Descodificação iterativa de códigos LDPC 2

13 Simplificação: o algoritmo min-sum As razões LLR são usadas para simplificar cálculos, nomeadamente para substituir multiplicações por somas. Ora, se bem que tenhamos substituído multiplicações por adições no cálculo das mensagens de variáveis, as multiplicações subsistem no cálculo das mensagens dos nós de paridade. Depois de várias manipulações matemáticas (tendo em conta que y sgn( y) y ) a expressão de L(r ji ) pode escrever-se assim: ( ) d ( ) ( ) j Lrji sgn Lq ( i j ) Ψ Ψ Lq ( i j ) (d j grau do nó) i i i i em que ( x) ln tanh( ) Ψ, x >, é uma função auxiliar: 3 Ψ(x) 2 Ψ(x) -ln(tanh(x/2)) x Como a função Ψ é positiva e fortemente decrescente o somatório das funções Ψ é aproximadamente igual ao termo dominante, correspondente ao menor dos L(q ji ) envolvidos. Além disso, a função Ψ é igual à sua inversa, Ψ - (x) Ψ(x), isto é, Ψ(Ψ(x)) x. Logo, a expressão anterior simplifica-se em ( ( )) d j Lr ( ji) ( ) sgn Lq ( ij ) Ψ max Ψ Lq ( ij) i i i i d j ( ) sgn Lq ( ij ) min ( Lq ( ij ) ) i i i i SAM/26 Descodificação iterativa de códigos LDPC 3

14 Simplificação: o algoritmo min-sum Algoritmo min-sum Do nó de variável x i para o nó de paridade f j : L( qij ) L( pi ) L( r j i) j j Do nó de paridade f j para o nó de variável x i : ( ) d ( ) ( ) j Lrji sgn Lq ( ij ) min Lq ( ij ) i i i i Quer este algoritmo quer o algoritmo max-product só diferem do algoritmo da soma-e-produto normal no modo de cálculo, aproximado, das mensagens dos nós de paridade. As mensagens dos nós de variáveis, essas, são calculadas da maneira normal. Expressões de actualização de nós com os algoritmos simplificados max-product (com probabilidades) e min-sum (com LLRs) no caso de nós de grau 3: r a q c rr ab rr ( r)( r) ab a b max-product r b q c Lq ( ) Lr ( ) Lr ( ) c a b q a q b r c ( ) r max q ( q ), q ( q ) c a b b a min-sum ( ) ( ) ( ) Lr ( ) sgn Lq ( ) sgn Lq ( ) min Lq ( ), Lq ( ) c a b a b SAM/26 Descodificação iterativa de códigos LDPC 4

15 Actualização de mensagens com canais AWGN Todas as regras de actualização apresentadas atrás, válidas para canais binários simétricos, podem ser aplicadas a canais com ruído branco aditivo gaussiano (AWGN): basta usar a adequada informação proveniente do canal. Se se enviar uma sequência binária x i ± através de um canal AWGN com ruído de média nula e variância σ 2 e se se receber a sequência de valores reais y, i a LLR a priori, isto é, aquilo de que necessitamos para iniciar os cálculos, vale py ( ) ( ) ln i xi L pi py ( x ) i i ( πσ ) ( yi ) ( πσ ) ( yi ) exp 2σ ln exp 2σ 2y i 2 σ O ruído à saída de um filtro adaptado no receptor tem variância 2 N σ, em que N /2 é a densidade espectral de potência do ruído e E 2 c E c R c E b é a energia de cada bit codificado (sendo E b a energia de cada bit antes da codificação e R c k/n a taxa do código). Portanto, E R E L( p ) 4 y 4 y c c b i i i N N Agora é só usar este valor nas equações de actualização. SAM/26 Descodificação iterativa de códigos LDPC 5

16 Exemplo numérico de aplicação Código: Hamming (7,4) apresentado antes Canal: BSC, com probabilidade de erro p, Palavra de código transmitida: x Sequência recebida: y (4º bit está errado) Só precisamos das probabilidades a priori p : i py ( x ) p i i i (exemplos: py ( x ),9 e py ( 3 x3 ),) Cada variável x i difunde a mensagem que recebeu do canal pelos nós de paridade aos quais está ligada. Assim, por exemplo, q2 q22 p2,9 q5 q53 p5, Mensagens iniciais enviadas pelas variáveis aos nós de paridade f j : p p 2 p 3 p 4 p 5 p 6 p 7,9,9,,9,,9, x,9 x 3,9,9,, x 4,9,9 x 5,, x 6,9, x 7 f f 3 SAM/26 Descodificação iterativa de códigos LDPC 6

17 Exemplo numérico de aplicação (cont.) Primeiras mensagens enviadas pelos nós de paridade aos nós de variáveis: p p 2 p 3 p 4 p 5 p 6 p 7,9,9,,9,,9, x x 3 x 4 x 5 x 6 x 7,756,756,244,756,244,756,244,756 f,244,244,244,756 f 3 Exemplo de cálculo: r ( 2 qi) [ ( 2 q2)( 2 q3)( 2 q5) ] 2 i { 2,3,5} 2,756 Início da 2ª iteração: novas mensagens enviadas por aos nós de paridade f e,9 2,9 2,9,756,244,744,244,756,965 f f f Mensagens que f e enviam a Mensagem enviada por a f Mensagem enviada por a Exemplo de cálculo: pr 222,9,244 q2 K2p2r22,744 pr ( p)( r ), pr 22,68 q22 K22 p2r2,965 pr ( p)( r ), SAM/26 Descodificação iterativa de códigos LDPC 7

18 Exemplo numérico de aplicação (cont.) No fim do vai-e-vem de transferências a estimativa da probabilidade que cada nó de variável produz é igual ao produto normalizado de todas as estimativas que a ele confluem, incluindo a proveniente do canal. LLR a posteriori durante cinco iterações: Iteração nº L(x y) L( y) L(x 3 y) L(x 4 y) L(x 5 y) L(x 6 y) L(x 7 y) 3,33 2,2 -,7 -,6-2,2,7 -,7 2 2,8,53 -,6 -,55 -,53,44 -,44 3 2,47 2,8 -,89,2-2,8,74 -,74 4 2,73 2,6 -,48 -,39-2,6,39 -,39 5 2,44,95 -,59 -,42 -,95,57 -,57 LLR a posteriori ao longo de iterações: Estimativa da sequência binária transmitida: x ˆ xˆ, xˆ,, xˆ 2 7 O erro foi corrigido! SAM/26 Descodificação iterativa de códigos LDPC 8

19 Exemplo numérico com mensagens logarítmicas Valores de LLRs no início da segunda iteração: Início da iteração ª metade da iteração L(p i ) [ 2,2 2,2 2,2 2,2 2, 2 2,2 2, 2] L(p i ) [ 2,2 2, 2 2,2 2, 2 2,2 2, 2 2, 2] L(r ji ),3,3,3,3,3,3,3,3,3,3,3,3 L(r ji ),3,3,3,3,3,3,3,3,3,3,3,3 Σ Lq ( ) Lq ( 2) Lq ( 3) Lq ( 5) L(q ij ) Lq ( 22) Lq ( 32) Lq ( 42) Lq ( 62) Lq ( 33) Lq ( 43) Lq ( 53) Lq ( 73) Exemplo de cálculo: L(q ij ) 2,2,7,6,7 3,33 2,2,7 2,2 2,2,7 3,33 2,2 Lq ( ) L( p) Lr ( ) Lr ( ) 2,2,3,3, Valores de LLRs no fim da segunda iteração: Início da 2ª metade da iteração 2ª metade da iteração L(p i ) [ 2,2 2,2 2,2 2,2 2, 2 2,2 2, 2] L(p i ) [ 2,2 2, 2 2,2 2, 2 2,2 2, 2 2, 2] L(r ji ) Lr ( ) Lr ( 2) Lr ( 3) Lr ( 5) Lr ( 22) Lr ( 23) Lr ( 24) Lr ( 26) Lr ( 33) Lr ( 34) Lr ( 35) Lr ( 37) L(r ji ),,2,39, 2,65,76,38,76,76,38,65,76 L(q ij ) 2,2,7,6,7 3,33 2,2,7 2,2 2,2,7 3,33 2,2 L(q ij ) 2,2,7,6,7 3,33 2,2,7 2,2 2,2,7 3,33 2,2 Exemplo de cálculo: ( Lr ( )) ( Lq ( )) ( Lq ( )) ( Lq ( )) ( 2,2) (,6) (,7) Φ Φ Φ Φ Φ Φ Φ 2 3 5,8 (,3),49, Lr ( ) Φ (,),2 Quanto valem as LLR a posteriori, por exemplo L(x 5 y)? Lx ( y ) Lp ( ) Lr ( ) Lr ( ) 2,2,2,65, SAM/26 Descodificação iterativa de códigos LDPC 9