当前位置：文档之家 › 编码理论第七章

编码理论第七章

  • 格式：ppt
  • 大小：300.00 KB
  • 文档页数：16

下载文档原格式

  / 16

合集下载

信息理论与编码问题详解姚善化清华大学出版社

信息理论与编码问题详解姚善化清华大学出版社

实用文档《信息理论与编码》习题参考答案第 1 章1.信息是什么? 信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2.语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第 2 章1.一个布袋内放 100 个球，其中 80 个球是红色的， 20 个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为X x1x2P0.80.2其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是I x1log p x1log0.8（比特）b)如果摸出的是白球，则获得的信息量是I x2log p x2log0.2 （比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n次，红球出现的次数为np x1次，白球出现的次数为np x2次。

随机摸取n次后总共所获得信息量为np x1 I x1np x2 I x2d)则平均随机摸取一次所获得的信息量为H X1np x I x np x I x1122 np x1 log p x1p x2 log p x20.72 比特 / 次2.居住某地区的女孩中有25%是大学生，在女大学生中有中身高 1.6 米以上的占总数的一半。

假如我们得知 “身高 1.6问获得多少信息量？75%是身高 1.6 米以上的，而女孩米以上的某女孩是大学生”的消息，答：设事件 A 为女孩是大学生；设事件 B 为女孩身高 1.6米以上。

编码理论

编码理论

b1
b2
a1 p(a1 b1) p(a1 b2 )
P a2 p(a2 b1) p(a2 b2 )
ar p(ar b1) p(ar b2 )
bs p(a1 bs ) p(a2 bs ) (7 9)
p(ar bs )
•
由给定的信源X的概率分布和信道的传递概率，可求得信道输出随机变量
Y的s个概率分量 r
•
解: 因信道输入符号非先验等概，故只能采用最大后验概率准则选择译码
• 规则。由(7-8)式和(7-9)式计算出后验概率矩阵
b1
b2
b3
p1 a1 0.75 0.60 0.40 a2 0.10 0.20 0.33
a3 0.15 0.20 0.27
• 考虑信道输出符号与信道输入符号 一一对应，选择译码译码规则
•
解:因信道输入符号先验等概，故采用最大似然准则选择译码规则。按最
大似然准则得到译码规则,并考虑信道输出符号与信道输入符号 一一对应，选
择译码函数
F (b1 F (b2
) )
a1 a3
F (b3 ) a2
•
所以，在采用最大似然准则选择译码规则时，就不必像一般的最大后验概
率准则那样，由给定信道矩阵中的信道传递概率(前向概率)换算成后验概率
•
若把这个最大者所对应的信源符号记为 a ，即有
p(a b j ) p(ai bj ) (i 1,2,...,r; j 1,2,...,s)(7 13)
• 因此必须选择译码规则
•
F (b j ) a j 1,2,...,s(7 15)
• 这就是最大后验概率译码准则。
•
由最大后验概率译码函数构成的译码规则，一定能使平均错误译码概率

彭代渊王玲-信息论与编码理论-第七章习题解答

彭代渊王玲-信息论与编码理论-第七章习题解答

7 c6=1100111， c7=1110000。 又因伴随式有 24=16 种组合， 差错图样为 1 的有 7种 ， 1 7 T T 差错图样为 2 的有 21种 ，而由 Hr He ，则计算陪集首的伴随式，构造伴 2
随表如下： 伴随式 0000 1101 1010 0111 1000 0100 0010 0001 陪集首 0000000 1000000 0100000 0010000 0001000 0000100 0000010 0000001 伴随式 0101 1001 1111 1100 1110 1011 0011 0110 陪集首 1001000 1000100 0011000 0001100 0100100 0100001 0010100 0000110
0 1 0 1 0 1 0 G 0 0 1 0 1 1 1 1 0 0 1 1 0 1
（1）求系统生成矩阵； （2）求校验矩阵； （3）求最小汉明距离； （4）列出伴随式表。 3．已知一个(6, 3)线性码 C 的生成矩阵为：
1 0 0 1 0 1 G 0 1 0 0 1 1. 0 0 1 1 1 0
得到线性码 C 的系统生成矩阵为
1 0 0 1 1 GS 0 1 0 1 0 0 1 1 1 0 0 1 1 1 0 1 0 0 1 1 1
（2）码字 c (c0 , c1 , , c n1 ) 的编码函数为 生成了的 8 个码字如下 信息元 000 001 010 011 100 101 110 111
（1）求校验矩阵，并校验 10110 是否为一个码字； （2）求生成矩阵，并由信息码元序列 101 生成一个码字。 解： （1）由监督方程直接得监督矩阵即校验矩阵为：

《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社

《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社

信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特 所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式） 或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。

编码理论

编码理论

1.1.2 编码和解码
编码
对带有信息的原信号加以处理，构成利于传 输（保存、加工、使用）的新信号的过程。
原信号 (携带有信息) (处理) 新信号
(保留有携带信息)
编码的逆过程是解码。解码是为从编码出的 新信号中解出原信号并获取所携带信息而不可 少的。编码是一个处理过程，解码也是一个处 理过程。
携带有信息的原信号被称为信源，表示为 S
编码目标
尽量好的效果 尽量短的序列 尽量少的差错 尽量容易实现
1.2 编码分类和相关基础
1.2.1 信源编码 信源是携带信息的原始信号，如彼此的通话、相互的交 流、书面的文章、统计的数据图表等。为了让对方、 让读者、让接收方能理解清楚和准确把握，这些信号 往往会从不同角度、不同方面表达和叙述要传递的信 息，有时还不得不重复、甚至多次重复和强调。因此，
j 1
信源编码是希望构造平均码长最短的编码
信源编码（定义）：
把原信源信号变换成为新的数字序列、 使序列所含码字的平均码长最短又不损失原信 息的过程。
信源：S
编码：A
编码：A: { y, l }, y=( y1, y2, …. yN ), l=( l1,
l2, …. lN ),
S : A:
x1 x2 xM p p p M 1 2 y1 y2 y N N 1 2 xi y j pi
编码理论 --Codingห้องสมุดไป่ตู้Theory
周武旸 中国科学技术大学 2007-11-9
基本内容
第一章
绪论 第二章 信源编码 第三章 线性分组码 第四章 循环码 第五章 BCH码 第六章卷积编码 第七章 网格编码调制 第八章 保密通信

信息论与编码第7-8章习题解答

信息论与编码第7-8章习题解答

相应的校验矩阵为
1 0 0 1 ' G 和 G 的差别仅是列的置换，所以 H 和 H ' 的差别也是同样的列置换，所以 1 1 0 1 1 0 1 1 0 1 1 1 1 0 H = 0 1 1 1 0 0 0 I 4×4 0 0 0 1 1 1 1
该码的校验矩阵任意二列线性独立，而第 1，2，3 列之和为零矢量，所以存在 着相关的三列，从而最小 Hamming 重量为 3。
wH (c 1 + c 2 ) = wH (c 1 ) + wH (c 2 ) − 2 wH (c 1 ⋅ c 2 ) 是偶数，其中 c1 ⋅ c 2 表示 c1 和 c 2 的交截。因此 c1 + c 2 ∈ E n ，所以 En 是一个线性码。
由于对称性， 在所有长度为 n 的二元矢量中， 奇数重量与偶数重量的矢量数相等， n −1 所以 En 中码字数为 2 ， 从而 k = n − 1 ； 又 En 中最小非零码字的重量为 2， 所以 d = 2 ， 于是 En 的参数为 ( n, n − 1,2) 。 7-4 设二元线性码 M 的生成矩阵为 1 0 0 1 1 G = 0 0 1 0 1 0 1 1 1 1 求 M 的最小距离。 ［解］ 由 G 生成的（5，3）码的八个码字为 （00000） ， （10011 ） ， （00101） ， （01111） （10110） ， （01010） ， （11100） ， （11001） 所以非零码字最小重量为 2，从而最小 Hamming 矩离 d min = 2 。 7-5 设二元线性码 M 的生成矩阵为 1 1 0 1 0 G = 0 1 0 1 0 ， 建立码 M 的标准阵，并对码字 11111 和 10000 分别进行译码。 ［解］ 由 G 生成的（5，2）码 M 的标准阵列为 （00000） ， （11010） ， （01010） ， （10000） （00001） ， （11011） ， （01011 ） ， （10001） （00010） ， （11000） ， （01000） ， （10010） （00100） ， （11110） ， （01110） ， （10100） （00011 ） ， （11001） ， （01001） ， （10011 ） （00101） ， （11111） ， （01111） ， （10101） （01100） ， （10110） ， （00110） ， （11100）

第七章量子编码

第七章量子编码

概率记为
Pe Pr urˆL urL
（7.3）
对于给定的信源和编码速率R及任意 0 ，若存在 L0 及
编译码方法，使得当码长 L L0 时，Pe ，称R是可达的， 否则是不可达的。
无失真信源编码定理1：对于无噪声信道，若R H (U ) ，
则R是可达的，若 R H (U )，则R是不可达的。
T n, tr P n, ，满足
1 2nS T n, 2nS
(7.29)
（3）令 S n为到 H n 的任意至多 2nR 维子空间的一个投影，其中 R S 为固定，
则对任意 0 和充分大的 n，有
编码。
无失真信源编码是在不损失信息的前提下， 压缩信息的冗余度，而有失真编码基于率失 真理论，允许信息有一定损失，或波形失真 （对连续信源），从而达到降低信息速率的 目的。
7.1.1 经典信源编码简介
1.无失真信源编码
对于无失真编码，包括等长编码和不等长编码。
（1）等长编码
对于等长编码，如果将长度为L的消息序列 Байду номын сангаасrL u1,u2,...,uL U L
的最小互信息量。再定义失真－信息率函数：
D(
R)

min
DDR
D
由定义可见，率失真函数的取值范围为：0 R(D) H (U )
且
lim
D0
R(D)

H
(U
)
有失真时的逆信源编码定理：当速率 R R(D) ，不论采取
什么编译码方式，平均失真必大于D。
有为使失真D时 Pr的 离D 散，无且记I 忆Pr 信达源到编极码小定的理条：件给概定率失，真则D存，在令长P度*

编码理论第7章

编码理论第7章
F (b j ) ai , i 1,2,..., r; j 1,2,..., s
• 使每一种可能的输出符号与一个唯一的输入符号一一对应，则函 数就被称为译码函数或译码规则。 • 若信道对输入符号集、输出符号集分别为 • X a1 , a2 ,..., ar
Y b1 , b2 ,..., bs
s
• 如二进制对称信道传递矩阵
P0 1
• •
0 1 4 3 4
1 3 4 1 4
采取译码规则(2)：则信道输出端出现“0”和“1”的正确译码概 率分别是
p X 0Y 0 p 1 4
pX 1Y 1 p 1 4
• 在这种译码规则下，从统计的观点看，信道输出端出现四个符号 • “0”(或“1”)，只能有一个“0”(或“l”)能得到正确译码。 • 采用译码规则(3)。信道输出端出现“0”和“1”的正确译码概 率分别是 pX 1Y 0 p 3 4 pX 0 Y 1 p 3 4 • • • 在这种译码规则下，从统计的观点看，信道输出端出现四个 符号“0”(或“l”)，就有三个能得到正确译码。 • 可见不同的译码规则确实会引起不同的可靠程度。在一个完整的 信息传输过程中，译码规则对信息传输的可靠性有重大影响。因 此，有必要深入讨论译码规则与信息传输可靠性之间的关系。
7.2 译码准则
• 7.2.1 最大后验概率译码准则 • 按什么准则来选择合适的译码规则，使其平均错误译码概率达到最小，是 提高由给定信源、给定信道组成的信息传输系统的可靠性的关键问题。 • 设基本离散信道传递矩阵为 b1 b2 bs
a1 P a2
• 由
p (ai b j ) p (ai ) p (b j ai ) p (b j )

编码理论

编码理论

无线信道
比有线信道要恶劣的多！
反射 折射 散射
由于多径使得信号消弱
快衰落和慢衰落
第一章 绪论
1.1 编码与编码理论 1.2 编码分类和相关基础 1.3 编码系统模型 1.4 编码理论的发展
1.1 编码与编码理论
1.1.1 信息与编码
通信最基本、最重要的功能就是传递信息、 获取信息、处理信息和利用信息。 古代的结绳记事，长城上的峰火台硝烟，墙 壁上的点划刻蚀，……，都是为传递和保存信息 的典型手段，是一种最简单、最经典的编码。 有线和无线通信产生以后，真正的编码技术 随之产生，以不同点、划、间断的组合代表不同 文字和数字的莫尔斯码、中文电报码等，开始了 编码的真正研究和应用。 现在，几乎所有信息应用领域都需要编码， 各种编码都在被积极研究。
在《通信的数学原理》中，他提出了受干扰信道编 码定理，该定理的主要内容为： 每个受干扰的信道具有确定的信道容量C。例如，当 信道中存在高斯白噪声时，在信道带宽W、单位频 带信号功率S、单位频带噪声功率N下，信道容量可 表示为 S
C W log 2 (1 ) N bps
对于任何小于信道容量C的信息传输速率，存在一个 码长为n，码率为R的分组码，若用最大似然译码， 则其译码错误概率为
1.2.2 信道编码
信道，是指有明确信号输入和信号输出的信息通 道。
这个通道可以是空间，如通信系统把信号从一个地点传 送到另一个地点； 这个通道可以是时间，如存储系统把 信号从某个时间开始存储到下一个时间； 这个通道可以 是过程，如处理系统把信号从一个接口演变到另一个接口。 无论是哪一种通道，有输入到输出的转移过程，这个转 移过程反映了该通道的特征。 最基本、最简单的转移过程，就是什么都不改变，仅仅 把输入原封不变的搬到输出。实际上，任何信道，在我们 研究的尺度空间，都很难做到输出与输入完全一样、原封 不变，输入经过信道之后总有不同和差异。

信息论与编码第七章习题及参考答案

信息论与编码第七章习题及参考答案

7.1 写出构成二元域上的 3 维 3重矢量空间的全部矢量元素， 并且找出其中一个 2维子 空间及其对偶子空间。

000 100 011 111 二维子空间（ 000， 011， 110， 101）7.2 写出 GF （7）的加法，乘法运算表，并找出每个元素的负元素和逆元素。

解：{0,1,2,3,4,5,6} 对应的负元为 {0,6,5,4,3,2,1} ， {1,2,3,4,5,6} 对应的逆元 {1,4,5,2,3,6}7.3 设二元 （6,3）码的生成矩阵为100011 G 0 1 0 1 0 1001110（1）写出相应的检验矩阵 H 。

（2）写出码字集合，并求出最小汉明距离。

解： 1）由于生成矩阵 G 是规范形式，根据校验矩阵 H 与生成矩阵 G 之间的关系011 101 110 100 010 001设比特信息矢量 {x1,x2,x3 }, 可以得到每位码元与信息位之间关系如下c 1 x 1,c 2 x 2,c 3 x 3c 4 x 2 x 3 c 5 x 1 x 3 c 5 x 1 x 2可以得到具体码字如下 {000000} ， {100011} ， {010101} ， {001110} ，{110110} ， {101101} ，{011011} ， {111000} 。

最小汉明距离为 3.7.4 试证明下列 GF （2） 上的生成矩阵解：三维空间元素001 101010 1100123456 1234560 2345601 3456012 4560123 5601234 6012345 0000000 0123456 0246135 0362514 0415263 0531642 0654321HT产生的码为循环码，并写出其生成多项式和校验多项式。

证明：生成矩阵的行矢量为g 1 [ 10000111] g 2 [ 01000111] g 3 [ 00100010]g 4 [ 00010001] g 5 [ 00001111] 从上述关系可以看出 g 5 pg 1(mod)( p 7 1) g 3 pg 4(mod)( p 7 1) g 2 p 2g 4(mod)( p 7 1) 所以该生成多项式产生的码字为循环码32生成多项式为 p 3p 2p 17.5 (6,3) 系统码的生成矩阵为100110 G 0 1 0 0 11001101或者e 4 e 1 e 2 S110 111 001 110 001 000 1差 错图 样 为ee 1 e 2 e 3 e 4 e 5 e 6 ， 有 {000,00 1,0 10,011, 100 ,101,110,111} ，解上述方程 S S1 e 1 e 2 e 4S2 e 2 e 3 e 5S3 e 1 e 3 e 6设 S 即 构造译码阵列，确定差错样图以及对应的伴随式。

信息论基础 第七章 信道编码

信息论基础 第七章 信道编码

2020/3/23
P.20
线性分组码（续）
C3 u0 u2 C0 C2 C4 u0 u1 u2 C0 C1 C2 C5 u0 u1 C0 C1 C6 u1 u2 C1 C2
即
C0 C2 C3 0
CC00
C1 C1
C2 C5
C3 0
0
C1 C2 C6 0
也可看作是由 GF(2) 扩展成的n维的矢量空间。这类引用有限域有限扩
域（矢量空间）的方法，在信道编码的理论研究中非常有用，即可引用 有限域理论分析研究信道编码的性质，寻找性能好的信道编码等等。
2020/3/23
P.15
信道编码的基本概念 （续）
在信道编码的工程构造上往往引用另一种等效的概念，即模多项式 分析方法更为方便。
n7
这时输入编码器的信息分成三个一组，即 u (u0u1u2 ) ，
它可按下列线性方程组编码：
2020/3/23
P.19
写成矩阵形式
线性分组码（续）
u (I MQ)
称G为生成矩阵，若G (I MQ)即能分解出单位方阵为子阵，且I的位 置可任意，则称 C 为系统码（或组织码） 若将上述监督线性方程组改写为:
亦趋于0，仅有少数比如turbo码，两者性能都比较好。
2020/3/23
P.12
信道编码的基本概念 （续）
目前大多数信道编码性能却不很理想，因此目前信道编码的主要 目标是以可靠性为主，即在寻求抗干扰强的码的基础上，寻求适当的有 效性，寻求和构造最小距离 dmin 比较大的码。
有关线性分组码的n种等效研究方法
2020/3/23
P.7
信道编码的基本概念 （续）
奇偶检验码
其编码规则为：C

信息论与编码理论-第7章线性分组码-习题解答-20071206

信息论与编码理论-第7章线性分组码-习题解答-20071206

第7章 线性分组码习 题1. 已知一个(5, 3)线性码C 的生成矩阵为：11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）列出C 的信息位与系统码字的映射关系；（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；（5）列出译码表，求收到r =11101时的译码步骤与译码结果。

2．设（7, 3）线性码的生成矩阵如下010101000101111001101G ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）求校验矩阵； （3）求最小汉明距离； （4）列出伴随式表。

3．已知一个(6, 3)线性码C 的生成矩阵为：.0 1 1 1 0 01 1 0 0 1 01 0 10 0 1G ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=（1） 写出它所对应的监督矩阵H ；（2） 求消息M =(101)的码字；（3） 若收到码字为101010，计算伴随式，并求最有可能的发送码字。

4．设(6, 3)线性码的信息元序列为x 1x 2x 3，它满足如下监督方程组⎪⎩⎪⎨⎧=++=++=++000631532421x x x x x x x x x （1）求校验矩阵，并校验10110是否为一个码字；（2）求生成矩阵，并由信息码元序列101生成一个码字。

习题答案1. 已知一个(5, 3)线性码C 的生成矩阵为：11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）列出C 的信息位与系统码字的映射关系；（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；（5）列出译码表，求收到r =11101时的译码步骤与译码结果。

解：（1）线性码C 的生成矩阵经如下行变换：23132110011001101101011010011100111100111001101101010100011100111⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦将第、加到第行将第加到第行得到线性码C 的系统生成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=111000*********S G （2）码字),,,(110-=n c c c c 的编码函数为[][][]111000*********)(210m m m m f c ++==生成了的8个码字如下(3) 最小汉明距离d =2，所以可检1个错，但不能纠错。

信息与编码课件..

信息与编码课件..
所有的线性码都是系统的。
对于无记忆信道，对G进行列置换并不会改变码的性能， 因此在这种情况下总可以假设G=[IkA]。
7.1 生成和一致校验矩阵
与任何一个(n,k)分组线性码的码空间C相对应,一定存在一 个对 偶空间D。事实上, 码空间基底数k只是 n维n重空间全部 n 个基底的一部分,若能找出另外n-k个基底,也就找到了对偶空间 D。
G=[IkA], H=[-ATIn-k] 在这种情况下，矢量uVk(Fq)的编码由u(u,uA)给出。
7.2 q进制对称信道上的伴随式 译码
• 错误图案
假定信道输出符号集AY=Fq,即输入与输出符号集相同。 因此如果传输的是x=(x1,x2,…,xn)Vn(Fq)，则接收矢量 y=(y1,y2,…,yn)也属于Vn(Fq)；两者的差值z=y-x称为错误图案。 如果zi0，我们就称在第i个位置上出现了一个错误。
7.3 汉明几何和码的性能
• 汉明几何
假设希望码C能够纠正汉明重量e的错误图案，即如果发 送xi, 接收到y= xi+z,如果wH(z)e，则译码器的输出x=xi。
对于qSC，译码的最佳策略是使dH(xi,y)最小的那个码字。
如果采用这种几何译码策略，则码能够纠正所有重量e 的错误图案的充分必要条件是，每一对码字之间的距离都 2e+1。
7.3 汉明几何和码的性能
• 例题
1 1 0 0 0
H1
1 1
0 0
1 0
0 1
0 0
1 0 0 0 1
1 1 0 0 0 H2 1 0 1 1 1
0 1 1 1 1 0 0 H3 1 0 1 1 0 1 0
1 1 0 1 0 0 1
H1的任意4列或更少列的子集是不相关的，但5列相关。故 dmin(C1)=5；而H2中的第3、4列相关，故dmin(C2)=2；因H3中 的列不为零也不相同，故dmin(C3)3,但H3中的第1、2、3相关。 故dmin(C3)=3.

《信息论与编码理论》(王育民 李晖 梁传甲)课后习题答案 高等教育出版社

《信息论与编码理论》(王育民 李晖 梁传甲)课后习题答案 高等教育出版社

信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯ 所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特比特6017.02log 21412log 2141910log 1094310log 10143)11(log )11()1()10(log )10()1()01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222222222=⨯+⨯+⨯+⨯======+=====+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特 所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式） 或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。

编码理论

编码理论

1.信源编码器、信道编码器的作用分别是？（1）信源编码器对信源输出的消息进行适当的变换和处理，来提高传输的效率。

（2）信道编码是为了抵抗信道的干扰，提高通信的可靠性。

2.什么是离散信道？信道的输入和输出都是时间上离散、取值离散的随机序列。

（数字信道）3.什么是无干扰信道？其输入和输出符号有何关系？这是一种最理想的信道，也称为无噪无损信道，信道的输入和输出符号间有确定的一一对应关系，即p（y∣x）={1 x=y；0 x≠y。

4.什么是奇、偶校验码？在信息序列后面加上一位校验位，使之模2和等于1，这样的编码成为奇校验码。

若使模2和等于0，这样的编码就称为偶校验码，即每个码矢中1的个数固定为奇数或偶数。

5.信息、消息与信号的概念有何区别？信息是关于事物运动的状态和规律。

消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。

将消息变换成适合传输和存储的物理量就称为信号。

6.什么是接收序列y的伴随式s？对于任何i=1,2，...，n-1，y（x）的i次循环移位x i y（x）[mod g（x）]的伴随式s（i）（x），必有s（i）（x）=x i s（x） [mod g（x）]即s（i）是s（x）在伴随式计算电路中无输入时，右移i位的结果。

7.为什么伴随式s只由错误图样e决定？当码字c通过噪声信道传送时，会受到干扰而产生错误。

如信道产生的错误图样是e，译码器收到的接收矢量是y，则有y=c+e，可写为y（x）=c（x）+e （x），用生成多项式g（x）除以接收多项式y（x），得y（x）=a（x）g（x）+s （x），式中a（x）为商式，s（x）为余式。

由于码多项式c（x）是生成多项式g（x）的倍式，可以看出s（x）只由错误多项式e（x）所决定。

8.差错控制系统有哪几种方式？前向纠错（FEC）、重传反馈（ARQ）、混合纠错（HEC）。

9.什么是分组码？分组码的特点？信源所给出的二元信息序列首先分成等长的各个信息，每组的信息位长度为k，记为u=（u k-1u k-2...u0），显然信息组m可能有2k种取值。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

cij ≠ r j时 p p (r j / cij ) = 1 p cij = r j时
编码理论——信道译码
8
如果R中有d个码元与 Ci 不同，我们称R和 Ci 之间的 距离为d，这样定义的距离称为汉明距离。接收码字R和发送 码字 Ci 之间的汉明距离，就是二者模2加后的重量，即
d = dis ( R, Ci ) = W ( R ⊕ Ci ) =
即在已知r的情况下使先验概率最大，则这种译码规则称为 最大似然译码（MLD：Maximum Likelihood)， p( R / Ci ) 称 为似然函数。相应的译码器称为最大似然译码器。 由于logx与x是单调关系，因此最大似然规则也可以写成
i =1, 2,, 2
max k log p( R / Ci ) = max k ∑ log p(rj / cij )
第七章 信道译码
张长森 河南理工大学计算机学院
1
第7章
信道译码 7.1 最优译码和最大似然译码 7.2 码距与检错、纠错能力的关系
编码理论——信道译码
2
7.1
最优译码和最大似然译码
信道的输入是一个二（或q）进制序列，而译码器的输出时一 个信息序列M的估值序列 M 。如下图所示。 译码器的基本任务就是根据一套译码规则，由接收序列R给出 与发送的信息序列最接近（最好是相同）的估值序列 M 分组码数字通信模型
如果 C ≠ C 则译码器产生错误译码。 当给定接收序列R时，译码器的条件译码错误概率定义为
P ( E / R ) 率为
PE =
∑ P(E / R) p(R)
R
其中， p (R ) 是接收R的概率，与译码方法无关， 译码错误概率最小的最佳译码规则是使 PE 最小，即
i =1, 2,, 2 j =1
N
称logp(R/C)为对数似然函数。
编码理论——信道译码
7
对于DMC信道，如果发送端发送每一个码字的概率 p(Ci ) 相等， 则MLD就是译码错误概率最小的一种最佳译码规则。由于最佳译 码要求知道后验概率p(R/C)，这在很多时候是很困难的，所以经常 使用的是最大似然译码，在很多情况下，可以认为最大似然译码就 是最佳译码。 对于BSC信道，在译码的时候，如果我们逐比特地比较发码和 收码，就只有两种可能性：相同或者不同，其概率分别是：
编码理论——信道译码
16
则这种译码规则一定能使译码器输出错误概率最小，称这种 译码规则为最大后验概率译码MAP (maximum aposteriori),也叫做 最佳译码。是一种通过经验与归纳又收码推测发码的方法，是最 优的译码方法。
Ci = max p (Ci / R )
编码理论——信道译码
5
由贝叶斯公式
p(Ci ) p( R / Ci ) p(Ci / R) = p( R)
{M {M } (m0 , m1 , , mk )
{C {C } (c 0 , c1 , , c N 1 )
纠错编码器
{R {R} ( r0 , r1 , , rN 1 )
{M } (m 0 , m1 , , m k )
信道
纠错译码器 至信宿
信源编码器输出
干扰源
编码理论——信道译码
3
由于M与码字C之间存在一一对应关系，所以这等价于译码其根 据R产生一个C的估值序列 C ，显然 当且仅当C = C 时， = M 这时译码器正确译码。 M
min
编码理论——信道译码
14
联合检错、纠错能力：对于最小码距为d 的码字，其 min 单独的检错能力为 d min 1，单独的纠错能力为 (d 1) / 2 但如果联合考虑检错和纠错，则情况会有所变化，因为如 果单独考虑检错，只要不会偏移到另一个码字空间点上，都可 以检测出来，但当加了纠错以后，如果偏移值过大，以至于偏 移后更接近于另一个码字空间点（即进入另一个超球体），则 由于纠错的原因，就会把它当成另一个码字，从而进行错误的 纠正（纠错后就认为没有错误了），以至于不能检测出来其错 误。
可知，如果发送端发送每一个码字的概率 p(Ci ) 均相同,且由于 p(R)与译码方法无关，所以
i =1, 2,, 2 k
max
p (Ci / R )
i =1, 2,, 2 k
max
p ( R / Ci )
编码理论——信道译码
6
一个译码器如果能选择
Ci = max p( R / Ci )
i =1, 2,, 2 k
min PE = min P( E / R) = min P(C ≠ C / R)
编码理论——信道译码
4
而
min P(C ≠ C / R) max P(C = C / R)
因此，如果译码器对输入的R，能在
2
k个码字中选择一个使
P(Ci = C / R)(i = 1,2, ,2 k )
最大的码字 Ci 作为C的估值序列 C ，即
min
对于一个最小码距为 d min 的码字子集，一般性的结论是： 其中， ec 是纠错能力， d 是检错能力。 e
编码理论——信道译码
e d + e c ≤ d min 1
ec ≤ ed
15
例如：最小码距为7的码字子集，单独检错可以检测6个码元的 错误，单独纠错可以纠正3个码元的错误。但如果想纠正3个码元的 错误，其检错能力减小为3，因为如果错误大于3，就会因为进入另 一个超球体的范围而被错误地纠错。如果想检测4个错误，则纠错 能力要降低为2，也就是说，要把纠错的超球半径降低为2。如果想 检测5个错误，则纠错的能力要降低为1。 从上面对纠错检错能力的分析可以看出，码字子集的纠错 检错能力的大小，取决于该码字子集的最小码距。对于 2 k 个 码字，共有 2 k (2 k 1) / 2 个码字距离，这些距离有大有小， 而码的总体性能取决其中的最小者，因此，当各码字在N为矢 量空间中均匀分布时，也就是当各个码字之间的距离相等时， 有最好的码性能。这和各符号等概时有最大熵的道理一样。
编码理论——信道译码
12
纠错能力：如果我们采用最佳译码或最大似然译码，那么 当接收到的码字偏离其在N维空间中原来的位置时，只要偏离得 不太远，就可以根据最大似然译码规则（或最佳译码规则）经 过译码得到正确的结果。但如果偏离得太远，以至于离另外一 个码字的空间点更近一些，则经过最大似然译码，就会译成另 一个码字，也就是不能纠正误码，或者说超出了该种编码的最 大纠错范围。那么纠错范围是多大呢？ 我们可以设想以 2 k 个码字空间点为球心，分别做一个超维 的球体，且各个球体互不相交，那么，如果由于误码使空间点的 偏移没有超出所对应的球体，则可以由最大似然译码纠正其错误， d min 也就是可以纠错。对于最小码距为 的码子字集，球体半径 的最小值为 ，考虑到纠错能力为整数位，所以纠 (d min 1) / 2 错能力应该写为 (d 1)。 /2
min
编码理论——信道译码
13
联合检错、纠错能力：对于最小码距为d 的码字，其 min 单独的检错能力为 d min 1，单独的纠错能力为 ( d 1) / 2 但如果联合考虑检错和纠错，则情况会有所变化，因为如 果单独考虑检错，只要不会偏移到另一个码字空间点上，都可 以检测出来，但当加了纠错以后，如果偏移值过大，以至于偏 移后更接近于另一个码字空间点（即进入另一个超球体），则 由于纠错的原因，就会把它当成另一个码字，从而进行错误的 纠正（纠错后就认为没有错误了），以至于不能检测出来其错 误。
编码理论——信道译码
11
对于一个最小码距为 d min 的码字子集，如果传输中发生 误码后使得空间点的位置偏移小于 d min ，则一定可以判断出 发生了误码，因为这时候由于误码不可能从一个空间点偏移到 另一个空间点。换句话说，可以检测到错误。而当由于误码使 空间偏移大于d min 时，则有可能偏移到另外的码字点上，也就 有可能检不出该错误来。因此，对于最小码距为 d min 的码子 字集，其检错能力为 d min 1 。
此时的似然函数是
∑r
j =1
N d
N
j
⊕ cij
p(R / Ci ) =
∏ p(r / c ) = p
j ij j =1
N
d
(1 p)
p (1 p) N = 1 p
d
因为上述似然函数中 (1
p) N 是常数， p /(1 p ) << 1
可以看出，d越大，则似然函数越小，因此，求最大似然函数问题 就变成了求最小汉明距离问题。
编码理论——信道译码
9
汉明距离译码是一种硬判决译码。只要在接收端将接收码R 与所有可能的发码逐比特进行比较，选择其中汉明距离最小的 码字作为译码结果就可以了。当发送的码字互相统计独立且等 概时，汉明距离译码就是最佳译码。
编码理论——信道译码
10
7.2
码距与检错、纠错能力的关系
码距：在随机编码中，我们曾说过，一个码字可以看作是N维矢 量空间的一个点，全部码字所对应的点集合构成矢量空间的一个 子集。子集的任意两点之间都存在一定的距离，这个距离叫做码 字之间的码距。子集任意两点之间的码距的最小值记为 d 。 min 欧氏距、汉明距 检错能力：如果信道传输无误，接收到的N重矢量一定是码字， 在矢量空间中一定对应到码字子集中的一个点上。当传输有误时， 可能会发生两种情况：一是不再对应码子字集上的一点，而是对 应到码字子集点相邻的的另一个空间点上；第二种可能是仍然对 应到码子字集中的一个点上，但却是一个错误的点上。第一种情 况下，译码的时候一定可以判断出发生了误码；而第二种情况却 不能判断出发生了误码。