信息论与编码第6章(2)new - 副本

15
N重复码当N很大时，使错误概率Pe降得很低 的同时，信息传输率R也大大降低—如3重复 码的信息率为原信息率的1/3，即该编码的 编码效率仅为1/3 。 需要找这样的纠错码： 足够小的平均译码错误概率Pe 较高的编码效率。
16
1.基本概念：
纠错方式——主要有检错重发(ARQ)、 前向纠错(FEC)和混合纠错(HEC)等。 纠错码——主要有分组码和卷积码两大 类，此外还有1982年提出的将编码与调制 结合在一起的网格编码调制和1993年提出 的将卷积码与随机交织器相结合的Turbo 码、LDPC码等。
p( y j / x*)p( x*)
p( y j / x*)p( x*) p( y j / x i )p( x i )
i 1,2, j 1,2, x* x i
i 1,2, j 1,2, x* x i
6
当信源等概率时，
p(y j / x*) p( y j / x i )
平均译码错误概率:
2 2 2 j 1 2 j 1
i 1,2, j 1,2, x* x i
最小错误概率准则可转换为最大似然译码准 则。
Pe p( y j )p(e / y j ) p( y j )[1 p( x * / y j )]
2 2 j 1 2 j 1 i 1 j 1
7 L 1
i , j 1,2, ,2 , i j
k
例：c1 1011110
d ( c 1 , c 2 ) c 1L c 2 L 3
20
码重(汉明重量):长度为n的码字中非零码 元的个数；对于二元码，码重可表示为：
w (c i ) c i L
n L 1

V1
g0(1,1) g1(1,1) g2(1,1)
U
g0(1,2)
σ1
g1(1,2)
σ2
g0(1,3)
V2
图6.4.13 (2,1,2)卷积码编码电路
2012/12/27
9
第六章 信道编码
6.4.5 卷积码的状态转移图与栅格描述
U
σ (0) (1) (σ’2σ’1)(V1V2) (00) (00)(00) (01)(11) (σ’2σ’1)(V1V2) (01) (10)(10) (11)(01) (σ’2σ’1)(V1V2) (10) (00)(11) (01)(00) (σ’2σ’1)(V1V2) (11) (10)(01) (11)(10)
(01/0,10/1)
图6.4.15 (2,1,2)码状态转移图(开放型)
2012/12/27
12
第六章 信道编码
6.4.5 卷积码的状态转移图与栅格描述

(2) 卷积码的状态转移图
闭合型的状转移态图：直接地描述了卷积编码器在任 一时刻的工作状况； 开放型的状态转移图：更适合去描述一个特定输入序 列的编码过程。
2
6.4.1 6.4.2 6.4.3 6.4.4 6.4.5 6.4.6 6.4.7 6.4.8 6.4.9
2012/12/27
第六章 信道编码
6.4.4 卷积码的译码
(1) 卷积码译码的种类：卷积码的译码可分为代数译码和 概率译码。 (2) 代数译码：从码的代数结构出发，以一个约束度的接 收序列为单位，对该接收序列的信息码组进行译码。 大数逻辑译码是代数译码的主要方法。 代数译码中，用矩阵描述比较方便。 (3) 概率译码：从信道的统计特性出发，以远大于约束度 的接收序列为单位，对信息码组进行最大似然的判决。 维特比译码和序列译码是其最主要的方法。 在维特比译码中，用篱笆图来描述码的译码更为方便。

0
0
p p
1 p
p 0.01
1
p p 1
01
0p p
[P]
1
p
p
F (0) 0 F (1) 1
PE
PE m in
1 r
s j 1
i*
p(b j
/
ai
)
1 2
(
p
p) 102
➢ 重复发送可以使PE减小 但是：信息传输率降低
传输消息:
重复码
0, 0 00
1 1 11
校验元
若传000, 收到误传为100,010,001中的任一 种, 则认为是传的000，实现了纠错。
6.1 信道编码的概念
第5章结论：在无噪无损信道上，只要对信源 的输出进行恰当的编码，总能以信道容量C 无差错地传输信息。
实际信道都有噪声干扰，本章研究香农第二 定理，即通信的可靠性问题。包括：
1.怎么使有噪信道中消息传输错误达到最少? 2.在有噪信道中无错误传输的可达的最大信息
传输率是什么?
信道编码概述
0.57
2 编码方法
• 上一节结论： 消息通过有噪信道传输时会发生错误 错误概率与译码规则有关
• 噪声干扰：破坏了信号的内部结构－－产生畸变 而造成信息的损失。
• 提高信号抗噪声干扰能力：改造信号使其内部结 构具有更强的规律性或相关性，当信号的部分结 构被破坏时，仍能根据信号原有的内在规律和相 关性来发现甚至纠正错误，恢复原来的信息。
• 通信系统模型
消息集中 一个元素
信道波形 空间中的
一个点
失真后 的波形
恢复的 消息
信源 编码
信道 编码
信道
信道 译码

第6章 线性分组码
6.1.2 码的重量和码的距离 在信道编码中，定义码字中非零码元的数目为码字的汉
明（Hamming)重量，简称码重。例如“010”码字的码重为 1，“011”码字的码重为2。把两个码字之间对应码位上具 有不同二元码元的位数定义为两码字的汉明距离，简称码距。 在一种编码中，任意两个许用码字间距离的最小值，即码字 集合中任意两码字间的最小距离，称为这一编码的最小汉明 距离，以dmin表示；在非零码字中，重量最小者称为该码的 最小汉明重量。
已知(n，k，d)线性分组码的最小距离dmin≤n－k＋1。若 系统码的最小距离dmin＝n－k＋1，则称此码为极大最小距离 可分码，简称MDS码。
第6章 线性分组码
6.1.3 码的检错及纠错能力
下面讨论码的检错、纠错能力与最小码距的数量关系。
在一般情况下，对于分组码有以下结论：
(1)若一个码组内能检测e
第6章 线性分组码
【例6－2】 已知GF(2)中码组C= ｛0000,1010,0101,1111｝是一个分组长度n=4的线性分组码。 观察码字之间所有十种可能的和：
0000+0000=0000,0000+1010=1010,0000+0101=0101, 0000+1111=1111,1010+1010=0000,1010+0101=1111, 1010+1111=0101,0101+0101=0000,0101+1111=1010, 1111+1111=0000 它们都在C中，全零码字也在C中。该码组的最小距离为 dmin=2。为了验证这个线性码的最小距离，可计算所有码字 对（共6对）之间的距离:
第6章 线性分组码