4.1某离散无记忆信源概率空间为
分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。 解：信源的熵为
881.03.03.07.07.0)(H =--=lb lb X 比特/符号
当N=10时，序列码长应当满足 81.81
881
.0102)(L 1=⨯=>
lb X NH 比特/序列
考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为
9.0N
L L 1
1==
比特/符号 所以编码效率为
%9.97L )
(H 1
1==
X η 当N=100时，序列码长为
1.881
881
.01002)(L 1=⨯=>
lb X NH 比特/100符号
取L1=89比特/符号，平均每个符号的码长为
89.0N
L L 2
2==
比特/符号 编码效率为
%99L )
(H 2
2==
X η 4.2设离散无记忆信源为
如果要求编码效率为，允许错误概率为
，求编码序列的长度
。
解：信源的熵为
722.02.02.08.08.0)(H =--=lb lb X 比特/符号
自信息量方差为
64.0722.0-）2.0（2.0）8.0（8.0D 22
2=+=lb lb
采用二进制码进行等长编码，序列长度应当满足
722
21062.1)1)((D N ⨯=-≥δ
ηηX H
4.3设离散无记忆信源的概率空间为
要求编码效率为
(1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。
(2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结
果。
解1）信源的熵为
811.025.025.075.075.0)(H =--=lb lb X 比特/符号
自信息量方差为
471.0811.0-）25.0（25.0）75.0（75.0D 22
2=+=lb lb
采用二进制编码，序列长度为
62221029.1)1)((D N ⨯=-≥δ
ηηX H
2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码
平均码长为
6875.1316
1316321631169L =⨯+⨯+⨯+⨯=
比特/2符号 每个符号码长为
84375.02
6875.12L L ===
比特/符号 编码效率为
%95%1.9684375
.0811
.0L H(X)=>===
δη 由于变长编码能够更好利用不同序列的概率分布进行编码，概率越大，序列的码长越短，概率越小，序列的码长越长，所以相对等长编码而言，变长编码的平均码长很短。在信源扩展长度很小情况下即可达到很高的编码效率。
4.4设有码集合
，根据唯一可
译码判断准则，判断是否为唯一可译码。
解：对应码长分别为3,4,4,4,5,5,5,6，将这些码长代入计算
14218758.022*******-5-5-5-4-4-4-3-≤=+++++++
结果满足麦克米伦不等式，因此该组码是唯一可译码的。
4.5设离散无记忆信源的概率空间为
将该信源扩展为长度的扩展信源，然后进行变长编码，求每个符号的平均码长可达
范围。 解：信源的熵为 98.1)()()(H 8
1
=-
=∑=i i
i a lbp a p X 比特/符号 根据香农第一定理，其可达范围为
)(H 1
N L L )(H N X N
X +<=
≤ 将N=100代入上述不等式，可以计算出每个符号的平均码长可达范围为（0.66,0.67）比特/符号。
4.6给定信源
的概率空间为
信宿的取值于
，失真矩阵为
求
和
，并且给出取得最小失真的条件。
解：根据失真矩阵行元素确定最小失真对应的实验信道条件概率矩阵（即最小失真的条件）为
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=010110P
对应的最小失真为
16
1
021*******),(min )(D 3
1min =⨯+⨯+⨯=
=
∑=i
j i b a d ai p 最大失真首先计算每列的平均失真，即
∑==
3
1
),()()(i
j i i j b a d a p b d 将数据代入，得
165
021*******)(1=
⨯+⨯+⨯=
b d 16
11
1214341041)(2=
⨯+⨯+⨯=
b d 最大失真为
16
5}16
11）)(1（165)(min{)}()()()(min{D 212211max =⨯-+⨯=⨯+⨯=b p b p b d b p b d b p
4.7 二元信源的概率空间为
失真矩阵为
求信源的最大平均失真
，最小平均失真
和信息率失真函数
。
解：由于失真矩阵的每行元素中最小值为0，所以最小失真为Dmin=0；
2
21021)(1αα=⨯+⨯=
b d
2
02121)(1αα=⨯+⨯=
b d 所以最大失真为
2
α
。 根据信息率失真计算方法可知，
1)],(exp[)(2
1
=∑=j i i j j
b a Sd b p λ
当i=1时
1]exp[)()(2211=+αλλS a p a p
i=2时
1)(]exp[)(2211=+λαλa p S a p
令p a p =)(1，p a p -1)(2=
])exp[1（1
1αλS p +=
])
exp[1）（-1（1
2αλS p +=
解下列方程
i
j i j j
b a Sd b p λ1
)],(exp[)(2
1
=
∑=
i=1时
1
211
]exp[)()(λα=
+S b p b p
2
221
)(]exp[)(λα=
+b p S b p
将参数1λ、2λ的值代入上述方程组，可以求得
[]]exp[)1(]
[exp -11
)(1ααS p p S b p --=
[]]exp[-)1(]
[exp -11
)(2ααS p p S b p -=
将参数代入求解信道转移概率
)]b ,exp[Sd(a )(）|（j i i j λb p a b p i j =
即[]]exp[)1(])
[exp -1(1
)(）|（2
i 111ααλS p p S p b p a b p --=
= []]exp[-)1(])
[exp -1(]
exp[)(）|（2
1212αααλS p p S p S b p a b p -=
= []]exp[)1(])[exp -1(）-1（]
exp[)(）|（2
2121αααλS p p S p S b p a b p --=
= []]exp[-)1(])
[exp -1(）-1（1
)(）|（2
2222ααλS p p S p b p a b p -=
= 失真的参数S 表示
]
[exp 1]exp[D S S αα+=
即[]）D -1（log -logD 1
S α
=
代入∑=+=2
1log )(R(D)i
i i a p SD λ 整理得： [])(H ）
D -1（log ）D -（DlogD 1
R(D)p +-=α
α
综合起来
[]⎪⎪⎪⎩
⎪⎪⎪⎨⎧
=≥=<<+-===2D 02D 0)(H ）D -1（log ）D -（DlogD 1
0)(R(D)max max min αααα
D D p D D X H
4.8 二元信源的概率空间为
其中
，失真矩阵为
(1)求信源的最大平均失真，最小平均失真
和信息率失真函数
。
(2)求出达到
的正向试验信道的转移概率。
解：解题思路如上题，0最小失真为
，最大失真为2
1
⎪⎪⎪
⎩
⎪
⎪⎪⎨⎧=≥=<<+-===21D 02D 0)(H )(0)(R(D)max max min D D D H D D X H αα 4.9 离散无记忆信源的概率空间为
失真矩阵为
求信息率失真函数
。
4.10 离散无记忆信源的概率空间为
失真矩阵为
求信息率失真函数。
信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
信息论与编码答案傅祖芸 【篇一：信息论与编码课程设计报告】 t>设计题目：统计信源熵与香农编码 专业班级学号学生姓名指导教师教师评分 2014年3月24日 目录 一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文 献 .......................................................... 6 附录：源程序.. (7) 一、设计任务与要求 1、统计信源熵 要求：统计任意文本文件中各字符（不区分大小写）数量，计算字 符概率，并计算信源熵。 2、香农编码 要求：任意输入消息概率，利用香农编码方法进行编码，并计算信 源熵和编码效率。 二、设计思路 1、统计信源熵： 统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中 的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个 公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi) i?1n ， 可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个 字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算 出信源熵。 2、香农编码： 香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同 时使平均码长达到极限值，即选择的每个码字的长度ki满足下式： i(xi)?ki?i(xi)?1,?i
《信息论与编码》-曹雪虹-课后习题答案 第二章 2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转移概率 为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =， ()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =， 画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132231231 112331223231 W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪ =⎨ ⎪ ⎪=⎪⎩
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8， (0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出 状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为： 设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有 41 1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131 132 24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175 14W W W W ⎧=⎪⎪ ⎪=⎪⎨ ⎪=⎪⎪⎪= ⎩
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解： bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。 证: . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i Θ 1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H 1.9 给 定 一 个 概 率 分 布 ) ,...,,(21n p p p 和一个整数m ， n m ≤≤0。定义 ∑=-=m i i m p q 1 1，证明： )log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？ 证： ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )(ΘΘ又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 ΘΘ 2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0 信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年 1.【图片】该信道的信道容量是（）bit/符号。 参考答案: log4-H(1/3,1/3,1/6,1/6); 2.对于离散无记忆平稳信源的N次扩展信源，其熵为扩展前信源熵的N倍。 参考答案: 正确 3.对应对称的DMC信道，当输入呈什么分布时，信道到达信道容量。 参考答案: 等概率分布 4.在X-Y-Z的信息传递中，信息不增性原理表示为I(X;Z)>=I(Y;Z)。 参考答案: 错误 5.信道容量随信源输出的概率分布的变化而变化。 参考答案: 错误 6.已知8个码组为（000000）、（001110）、（010101）、（011011）、 （100011）、（101101）、（110110）、（111000），若只用于检错，可检测出（）位错码。 参考答案: 2 7.突发差错始终以相等的概率独立发生于各码字、各码元、各比特。 参考答案: 错误 8.(7,3)码的监督矩阵有3行，生成矩阵有4行。 参考答案: 错误 9.根据香农容量公式可知，通过增大带宽可以无限的提高信道容量，只是提高 的速度会变慢 参考答案: 错误 10.二进制对称信道中，当信道转移概率中正确、错误的概率相等时，此信道不 能传递信息。 参考答案: 正确 11.某信道输入熵为H(X)，输出熵为H(Y)，若信道为无噪有损信道，其容量为 H(X)。 参考答案: 正确 12.连续信源限峰值条件下正态分布具有最大熵。 参考答案: 错误 13.关于信息熵在通信系统中的描述，以下错误的是（）。 参考答案: 条件熵H(X|Y)可以看作是信道上的干扰和噪声使接收端获得Y之后对X还有的平均不确定度，又称为噪声熵。 14.必然事件和不可能事件的自信息量都是0 。 参考答案: 错误 15.通常所说的符号差错概率（误码元率）是指信号差错概率，而误比特率是指 信息差错概率。 参考答案: 正确 16.当离散信源输出服从（）分布时，其熵为最大 参考答案: 等概率分布 17.信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造 的是最佳码。 第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l。 4-2 设信源 6 126 1 126 ()1 ()()() ()i i s s s X p s p s p s p s P X = ?? ?? == ?? ?? ???? ∑ 。对此次能源进行m元唯一 可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式） 4-3设信源为 12345678 11111111 () 248163264128128 s s s s s s s s X p X ?? ???? = ???? ???? ?? ，编成这样的码：（000，001， 010，011，100，101，110，111）。求（1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为 11122 (,,,,) 3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为 11111 (,,,,) 55555 的信源也是最佳二元码。 4-5有两个信源X和Y如下： 1 2 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=???????? （1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率； （2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。 4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。 4-7设信源为1 2345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ????=???????? ，求其三元霍夫曼编 码。 4-8若某一信源有N 个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当N =2i 和N =2i +1（i 是正整数）时，每个码值的长度是多少？平均码长是多少？ 4-9现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像素上的灰度级。 （1）不考虑图像的任何统计特性，对图像进行二元等长编码，这幅图像共需要多少个二元符号描述？ （2）若考虑图像的统计特性，求这幅图像的信源熵，并对每个灰度级进行二元霍夫曼编码，问平均每个像素需用多少二元符号表示。 4-10在MPEG 中为了提高数据压缩比，采用了____方法。 A ．运动补偿与运行估计 B.减少时域冗余与空间冗余 C ．帧内图像数据与帧间图像数据压缩 D.向前预测与向后预测 信息论与编码习题解答 第一章 1.一位朋友很不赞成“通信的目的是传送信息”及“消息中未知的成分才算是信息”这些说法。他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看不厌，大师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视里没给我任何信息，怎么能让我接受呢？请从信息论的角度对此做出解释。（主要从狭义信息论与广义信息论研究的内容去理解和解释） 答：从狭义信息论角度，虽然将要表演的内容观众已知，但是每一次演出不可能完全相同。而观众在欣赏的同时也在接受着新的感官和视听享受。从这一角度来说，观众还是可以得到新的信息的。另一种解释可以从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识水平、文化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论的范畴。 2．利用下图（图1.2）所示的通信系统分别传送同样时间（例如十分钟）的重大新闻公告和轻音乐，它们在接收端各方框的输入中所含的信息是否相同，为什么？ 图1.2 通信系统的一般框图 答：重大新闻是语言，频率为300~3400Hz，而轻音乐的频率为20~20000Hz。同样的时间内轻音乐的采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大。但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与音乐的信息量大小在广义上说，因人而异。 第二章 1．一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。 解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为： 2 2393240 239! 2!237!240!3!237! 11/80240/3 C P C ??= == = 所以，此事件给出的信息量为：I = – log 2P = log 280=6.32 (bit) （2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，这是一个必然事件，因此信息量为0。 （3）按照Shannon 对信息量的定义，只在事件含有不确定成分，才有信息量，并且不确定成分越大，信息量也越大，必然事件则没有信息量。但是从广义信息论的角度，如果那个人不知道用天平二分法找假珠，另一个告诉他这个方法，使他由不知道到知道，也应该含有一定的信息量。 2．每帧电视图像可以认为是由3?105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？ 解：由于每一象素取128个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为 I (X ) = – lb(1/128)=lb128=7 bit/像素 每帧图像中像素均是独立变化的，因此每帧图像信源就是离散亮度电平信源的无记忆N 次扩展。由此，每帧图像包含的信息量为 I (X N ) = NI (X )= 3?105?7 =2.1?106 bit/帧 广播员在约10000个汉字中选取字汇来口述此电视图像，各个汉字等概分布，因此每个汉字包含的信息量为 I (Y) = – lb(1/10000)=lb1000=13.29 bit/字 广播员述电视图像是从这个汉字字汇信源中独立地选取1000个字进行描述，因此广播员描述此图像所广播的信息量是 I (Y N ) = NI (Y )= 1000?13.29 =1.329 ?104 bit/字 由于口述一个汉字所包含的信息量为I (Y)，而一帧电视图像包含的信息量是I (X N )，因此广播员要恰当地描述此图像，需要的汉字数量为： 65() 2.110 1.5810() 13.29 N I X I Y ?= =?字 3．已知 X ： 1, 0 P (X )： p , 1 – p （1）求证：H (X ) = H (p ) 信息论与编码试题集与答案考试必看 信息论与编码试题集与答案考试必看在无失真的信源中，信源输出由H(X)来度量； 在有失真的信源中，信源输出由R(D)来度量。 1.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道 _____编码，最后送入信道。 2.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是； 当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为-1.6dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。 3.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M； C)就越大。 4.已知n＝7的循环码，则信息位长度k为3，校验多项式h(x)=。 5.设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0)=d(1，1)=0，d(0，1)=2，d(1，0)=1，则Dmin＝0，R(Dmin)＝1bit/symbol，相应的编码器转移概率矩阵[p(y/x)]＝； Dmax＝0.5，R(Dmax)＝0，相应的编码器转移概率矩阵 [p(y/x)]＝。 6.已知用户A的RSA公开密钥(e,n)=(3,55)，,则40，他的秘密密钥(d,n)＝(27,55)。若用户B向用户A发送m=2的加密消息，则该加密后的消息为8。 二、判断题1.可以用克劳夫特不等式作为唯一可译码存在的判据。 （Ö） 2.线性码一定包含全零码。 （Ö） 3.算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4.某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。 （×） 6.限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。 （Ö） 7.循环码的码集中的任何一个码字的循环移位仍是码 一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 212。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤ ⎢⎥⎣⎦ ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤ ⎢ ⎥⎣⎦ 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 四、计算题 1.已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y 解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3 p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol (),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol 2.某系统（7，4）码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验 位与信息位的关系为： 2310 13210 210c m m m c m m m c m m m =++⎧⎪ =++⎨⎪=++⎩ 01 X Y 011/31/30 1/3 1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源） 2.连续信源的熵是（无穷大），不再具有熵的物理含义。 3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性 3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。 4.数据处理过程中信息具有（不增性）。 5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。 6.单符号连续信道的信道容量取决于（信噪比）。 7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。 8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。 9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。 10.立即码指的是（接收端收到一个完整的码字后可立即译码）。 11.算术编码是（非）分组码。 12.游程编码是（无）失真信源编码。 13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。 14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。 15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。 16.卷积码的自由距离决定了其（检错和纠错能力）。 （对）1、信息是指各个事物运动的状态及状态变化的方式。 （对）2、信息就是信息，既不是物质也不是能量。 （错）3、马尔可夫信源是离散无记忆信源。 （错）4、不可约的马尔可夫链一定是遍历的。 （对）5、单符号连续信源的绝对熵为无穷大。 （错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。 （对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。（对）8、信源X,经过处理后，输出为Y，H(Y)小于H(X),说明信息不增。 （对）9、如果一个消息包含的符号比表达这个消息所需要的符号多，那么该消息存在冗余度。 （错）10、有噪无损离散信道的输入为X,输出为Y，那么其信道容量Ｃ＝ｍａｘＨ（Ｙ）。（错）11、非高斯噪声信道的信道容量比高斯噪声信道的信道容量小。 （对）12、信息率失真函数具有单调递减性。 （错）13、异前缀码不能及时可译。 （对）14、用码树构造的一定是及时码。 （对）15、香农编码压缩了符号相关造成的冗余。 （对）16、有失真信源编码指的是保真度准则下的信源编码。 （对）17、变长无失真信源编码比定长编码的编码效率高。 （错）18、香农编码是最佳编码。 （对）19、卷积、交织都可以达到差错随机化的目的。。 （错）20、卷积码的序列距离决定了其检错和纠错能力。 信息、消息、信号的定义是什么？三者的关系是什么？ 答：定义：信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言、文字和图像。 信号是消息的物理体现。 信息论与编码(第二版)习题答案,陈运,主编 篇一：信息论与编码复习资料重点陈运第二版 2.3 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量？ 解： 设随机变量X代表女孩子学历 X P(X) x1（是大学生） 0.25 x2（不是大学生） 0.75 设随机变量Y代表女孩子身高 Y P(Y) y1（身高>160cm） 0.5 y2（身高160cm） P(Y) 0.5 y2（身高 log6 不满足信源熵的极值性。 解： · 2 · H ( X ) = ?∑ p( x) log p( x) i i i 6 = ?(0.2 log 0.2 + 0.19 log 0.19 + 0.18 log 0.18 + 0.17 log 0.17 + 0.16 log 0.16 + 0.17 log 0.17) = 2.657 bit / symbol H ( X ) > log 2 6 = 2.585 不满足极值性的原因是∑6 p( xi ) = 1.07 > 1 。 i 2.7 证明：H(X3/X1X2) ≤ H(X3/X1),并说明当X1, X2, X3是马氏链时等式成立。 证明： H ( X 3 / X1 X 2 ) ? H ( X 3 / X1 ) = ?∑∑∑ p( xi1 xi 2 xi 3 ) log p( xi 3 / xi1 xi 2 ) + ∑∑ p( xi1 xi 3 ) log p( xi 3 / xi1 ) i1 i 2 i 3 i1 i 3 = ?∑∑∑ p( xi1 xi 2 xi 3 ) log p( xi 3 / xi1 xi 2 ) + ∑∑∑ p( xi1 xi 2 xi 3 ) log p( xi 3 / xi1 ) i1 i 2 i 3 i1 i 2 i 3 =p( x x x ) p( xi 3 / xi1 ) ∑∑i1i 2i 3 ∑i1 i 2 i 3 p( xi 3 / xi1 xi 2 ) ≤ ∑∑p( x ? p( x i1xi 3 / xi1 ) ? 第1章 绪论 1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农 1.3 通信系统模型 1.4 信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。 1.5 略 第2章 信息的统计度量 2.1 少 2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特 2.5 依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以 1181 p = 所需要的信息量 ()()1log 6.34I A p bit =-= 二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则 212p = 总的概率 12111812162p p p == ⨯= 所需要的信息量 ()log log1627.34I p bit =-== 2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则 ()()()0.25 0.5 |0.75p A p B p B A === 故 ()()() ()()() |0.750.25 |0.3750.5 p AB p A p B A p A B p B p B ⨯= = = = ()()()11 |log log 1.42|0.375 I A B bit p A B === 2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。 2.8 ()()()()()()2322log 3log 32log 3 1.585 I p bit I p bit I I =-=-== 故以3为底的信息单位是比特的1.585倍。 2.9 （1）J 、Z （2）E （3）X 2.10 （1）两粒骰子向上面的小圆点数之和为3时有(1, 2)和(2, 1)两种可能性，总的组合数为 116636C C ⨯=，则圆点数之和为3出现的概率为 321 3618p = = 故包含的信息量为 ()()31 3log log 4.1718I p bit =-=-= （2）小圆点数之和为7的情况有(1, 6), (6, 1), (2, 5), (5, 2), (3, 4), (4, 3)，则圆点数之和为7出现的概率为 761366p = = 故包含的信息量为 ()()71 7log log 2.5856I p bit =-=-= 2.11 对于男性，是红绿色盲的概率记作()17%p a =，不是红绿色盲的概率记作()293%p a =， 这两种情况各含的信息量为 ()()()11100 log 1log 3.837I a p a bit ===⎡⎤⎣⎦ ()()()22100 log 1log 0.10593I a p a bit ===⎡⎤⎣⎦ 平均每个回答中含有的信息量为 ()()()()()()1122793 log 1log 1 3.830.1050.366100100H A p a p a p a p a bit =+= ⨯+⨯=⎡⎤⎡⎤⎣⎦⎣⎦ 对于女性，是红绿色盲的概率记作()10.5%p b =，不是红绿色盲的概率记作()299.5%p b =，则平均每个回答中含有的信息量为 ()()()()()()1122log 1log 1510009951000 log log 1000510009950.045H B p b p b p b p b bit =+⎡⎤⎡⎤⎣⎦⎣⎦= ⨯+⨯= 4.2 某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵为 ⎥⎦⎤⎢⎣⎡=a a D 00求这信源的D max 和D min 和R(D)函数。 解： 0021021),(min )(202121),()(min min min max =⨯+⨯===⨯+⨯===∑∑i j i j i i j i i j j y x d x p D a a y x d x p D D 因为二元等概信源率失真函数： ⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中n = 2, 所以率失真函数为： ⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )( 4.3 一个四元对称信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣ ⎡4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣ ⎡0111101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13ln 4ln )( 函数曲线： 信息论与编码理论-第4章无失真信源编码-习题解答 -20071202 信息论与编码理论 第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长。 ?X??s1 4-2 设信源????p(s)P(X)???1s6? p(s2)?p(s6)?? ? s2 ?p(s)?1。对此次能源进行m元唯一 i i?1 6 可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式） ?s ?X??1 4-3设信源为??1? ?p(X)???2? （1）信源的符号熵；（2）这种码的编码效率； s2 14s3s411816s5132s6s7s8? ，编成这样的码：（000，001，111???64128128? 010，011，100，101，110，111）。求 （3）相应的仙农码和费诺码。4-4求概率分布为(, 11122 信)源的二元霍夫曼编码。讨论此码对于概率分布为3551515 11111 (,,,,)的信源也是最佳二元码。55555 4-5有两个信源X和Y如下： 1 信息论与编码理论 s2s3s4s5s6s7??X??s1 ??p(X)??0.200.190.180.170.150.100.01? ????s2s3s4s5s6s7s8s9??Y??s1??p(Y)??0.490.140.140.070.070.040.020.02 0.01? ???? （1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
信息论与编码习题解答
信息论与编码试题集与答案考试必看
信息论与编码试题集与答案
信息论与编码试题集与答案
信息论与编码考试题(附答案版)
信息论与编码(第二版)习题答案,陈运,主编-最新范文
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
信息论与编码-曹雪虹-第四章-课后习题答案
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
相关主题
文本预览