答案~信息论与编码练习

格式：doc
大小：280.00 KB
文档页数：9

下载文档原格式

信息论与编码习题答案

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。

【免费下载】答案~信息论与编码练习

0.98 0.02
0.02 0.98
得最大信息传输速率为： Rt ≈1500 符号/秒× 0.8586 比特/符号 ≈1287.9 比特/秒 ≈1.288×103 比特/秒
此信道 10 秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104 比特可见，此信道 10 秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在 10 秒钟内将这消息无失真的传送完。
H
H ( X ) log2 4 2bit / symbol C1
有熵损失，有噪声。
(
1 2

1 2

0 0Leabharlann 01 21 2
0 0 0
0
1 2
0
0
0
1
0000
1 2
0
0
0 0) 1bit / symbol
( 2) 为对称信道，输入为等概率分布时达到信道容量
C2

log 2
8
H
求得 W=
=
P(u2/u2)=0,
P(j/i)=
9
解方程组
1/2，1/4，1/8.，1/16，1/32,1/64,1/128,1/128，编成这样的码：
000,001,010,011,100,101,110,111。求
（1）信源的符号熵 H(U)
(2)出现一个“1”或一个“0”的概率；
（3）这样码的编码效率；
解：(1) H(色)=
(2) P(色数)= H(色数)= (3) H(数/色)= H(色数)- H(色)=
5、在一个二进制信道中，信源消息集 X={0,1}，且 P(0)=P(1),信宿的消息集 Y={0,1},信道传输概率 P（1/2）=1/4, P(0/1)=1/8。求：（1）在接收端收到 y=0 后，所提供的关于传输消息 X 的平均条件互信息量 I(X；y=0).

(完整版)信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。

信息论与编码习题答案-曹雪虹

3-14
信源符号 xi x1 x2 x3 x4 x5 x6 x7
符号概率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为

信息论与编码技术第四章课后习题答案

解：（1） D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0; （3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）; 4.7 设连续信源 X ，其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ，试求： ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式（4）的傅立叶反变换，又根据式（2）得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解：
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ，求 Dmax , Dmin 及信源的 R ( D ) 函数，并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦

信息论与编码习题参考答案

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。

求传输此图象所需要的信息率（bit/s ）。

解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。

试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。

证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。

问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，nm ≤≤0。

信息论与编码第四章课后习题答案

∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x

《信息论与编码》课后习题答案

《信息论与编码》课后习题答案1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

4、按照信息的地位，可以把信息分成客观信息和主观信息。

5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

6、信息的可度量性是建立信息论的基础。

7、统计度量是信息度量最常用的方法。

8、熵是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

18、离散平稳有记忆信源的极限熵，。

19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。

21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。

22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率之比。

25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

信息论与编码理论习题答案

= 3、3 设有一离散无记忆信源,U＝，其熵为。考察其长为得输出序列，当时满
足下式
（a）在=0、０５,=0、1 下求 (b）在＝，＝下求（c)令就是序列得集合，其中
试求Ｌ=时情况（a)(b）下,T 中元素个数得上下限. 解：＝==０、８１ bit
= ＝=—
= =0、471 则根据契比雪夫大数定理
0、2
00１
10０
a４
0、１
０00１
10００
(a) 各码就是否满足异字头条件？就是否为唯一可译码？
(b) 当收到 1 时得到多少关于字母 a 得信息？
(c) 当收到 1 时得到多少关于信源得平均信息?
２、14 对于任意概率事件集 X，Y,Z，证明下述关系式成立 (ａ）＋,给出等号成立得条件 (ｂ）=+ （c）
证明：(b) =-
=＝—-
=+ (c) ＝-
=［—］ [-］
＝—
= 当=，即Ｘ给定条件下，Y 与 Z 相互独立时等号成立 (ａ）上式(ｃ)左右两边加上，可得＋＋于就是+ ２、2８令概率空间，令 Y 就是连续随机变量。已知条件概率密度为，求： (a)Y 得概率密度 (ｂ) （ｃ) 若对 Y 做如下硬判决
求，并对结果进行解释. 解：（a) 由已知,可得
= ＝
＝＋
= （ｂ) ==2、５ bｉt
=
= =2 bｉt =-＝0、5 ｂit （c) 由可得到Ｖ得分布律
Ｖ
—１
p
1/4
再由可知
V
－1
p(V|x=－１）
１/2
p(V｜x=1）
0
bｉt
=1 bit ＝= 0、5 bit
０ 1/2
0 1/2 1/2

信息论与编码-曹雪虹-课后习题答案

画出状态图，并计算各状态的稳态概率。

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。

信息论与编码理论习题答案

第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

信息论与编码技术第五章课后习题答案

码，并求出其编码效率。
解：
信源符号概率编码
码字码长
X1
3/8 0
0
1
X2
1/6 1
0
10 2
X3
1/8
1
11 2
X4
1/8 2
0
20 2
X5
1/8
1
21 2
X6
1/12
2
22 2
H(X)=-((3/8)*log(3/8)+(1/6)*log(1/6)+(1/8)*log(1/8)+(1/8)*log(1/8)+(1/8)*log(1/8)+(1/12)*log(1/12))
=2.3852 （三进制单位/信源符号）
H3(X)= H(X)/ 1.5850=2.3852/1.5850= 1.5049（三进制单位/信源符号）
L ＝(3/8)*1+ (1/6)*2+ (1/8)*2+ (1/8)*2+ (1/8)*2+ (1/12)*2＝1.625（码符号/信源符号）
η= H3(X)/ L =1.5049/1.625= 92.61 ％
5.8 已知符号集合 {x1, x2 , x3,"} 为无限离散消息集合，它们出现的概率分别为 p(x1) = 1/ 2 ， p(x2 ) = 1/ 4 ， p(x3 ) = 1/ 8 ， p(xi ) = 1/ 2i ，……。
(1) 用香农编码方法写出各个符号消息的码字。 (2) 计算码字的平均信息传输速率。
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)

信息论与编码第八章课后习题答案

位计算，共需 3 秒钟传输。
（2）统计图像中各灰度级的出现次数：
1
2
3
4
5
6
7
8
40 17 10 10 7
6
5
5
如果考虑信源符号的统计特性，对上述灰度级进行编码，如下图所示。
得如下码字：
1 40 0 1
平均码长为：
2
3
4
5
6
7
8
17 10 10 7
6
5
5
100 1010 1011 1100 1101 1110 1111
用多少二元码符号来表示？这时需多少时间才能传送完这幅图像？
（3）从理论上简要说明这幅图像还可以压缩，而且平均每个像素所需的二元码
符号数可以小于 H (S) 比特。
解：
（1）采用二元等长码，不考虑信源符号的统计特性，平均每个灰度需要 3
位二进制表示，在 10*10 的图像上，共需 300 位二进制表示，以每秒传输 100
γ = 1− H (S) = 0.531 log r
（2）对其进行紧致码编码，二个信源符号一个编码为 0，一个编码为 1，因
此平均码长为 1 码符号/信源符号；
（3）对原码字进行二次扩展，其信源空间为：
S2 P(α
i
)
=
s1s1 0.01
s1s2 0.09
s2 s1 0.09
p1
+
p2
+
p3
+
p4
= 1 可得，
p1
>
1 3
。因此完成上述编码的概率分布为：
p1
>
1 3
p2 ≤ p1

信息论与编码第四章习题参考答案

4.1某离散无记忆信源概率空间为分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。

解：信源的熵为881.03.03.07.07.0)(H =--=lb lb X 比特/符号当N=10时，序列码长应当满足 81.81881.0102)(L 1=⨯=>lb X NH 比特/序列考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为9.0NL L 11==比特/符号所以编码效率为%9.97L )(H 11==X η 当N=100时，序列码长为1.881881.01002)(L 1=⨯=>lb X NH 比特/100符号取L1=89比特/符号，平均每个符号的码长为89.0NL L 22==比特/符号编码效率为%99L )(H 22==X η 4.2设离散无记忆信源为如果要求编码效率为，允许错误概率为，求编码序列的长度。

解：信源的熵为722.02.02.08.08.0)(H =--=lb lb X 比特/符号自信息量方差为64.0722.0-）2.0（2.0）8.0（8.0D 222=+=lb lb采用二进制码进行等长编码，序列长度应当满足72221062.1)1)((D N ⨯=-≥δηηX H4.3设离散无记忆信源的概率空间为要求编码效率为(1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。

(2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结果。

解1）信源的熵为811.025.025.075.075.0)(H =--=lb lb X 比特/符号自信息量方差为471.0811.0-）25.0（25.0）75.0（75.0D 222=+=lb lb采用二进制编码，序列长度为62221029.1)1)((D N ⨯=-≥δηηX H2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码平均码长为6875.13161316321631169L =⨯+⨯+⨯+⨯=比特/2符号每个符号码长为84375.026875.12L L ===比特/符号编码效率为%95%1.9684375.0811.0L H(X)=>===δη 由于变长编码能够更好利用不同序列的概率分布进行编码，概率越大，序列的码长越短，概率越小，序列的码长越长，所以相对等长编码而言，变长编码的平均码长很短。

信息论与编码-曹雪虹-课后习题答案 (2)

《信息论与编码》-曹雪虹-课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p ==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

. . 1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？

解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：

信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol

得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。

2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：

试求这两个信道的信道容量，并问这两个信道是否有噪声？

3 、已知随即变量X和Y的联合分布如下所示：

01100.98

0.980.02

0.02

0.980.020.020.98P



11112222

11112222121111

2222

11112222

00000000000000000000000000000000

PP



11222211122222log4(00)1/()log42/log8(000000)2/(),HbitsymbolHXbitsymbolCCHbitsymbolHXC1

解答：(1)由信道1的信道矩阵可知为对称信道故C

有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量

无噪声 . . 0 1 0 1/8 3/8 1 3/8 1/8 试计算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I（X；Y）

解： (1) HX()1 HY()1

(2) (3) H（X/Y）= H（XY）-- H（Y）=1.811-1=0.811 (4) H（Y/X）= H（XY）-- H（X）=1.811-1=0.811

(5)

4、有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,2,3，……，38数字标示，其中有2份涂绿色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，计算平均不确定度；（2）若对颜色和数字都感兴趣，计算平均不确定度；（3）如果颜色已知，计算条件熵。

解：(1) H(色)=

(2) P(色数)= H(色数)= (3) H(数/色)= H(色数)- H(色)=

5、在一个二进制信道中，信源消息集X={0,1}，且P(0)=P(1),信宿的消息集Y={0,1},信道传输概率P（1/2）=1/4, P(0/1)=1/8。求：（1）在接收端收到y=0后，所提供的关于传输消息X的平均条件互信息量I(X；y=0). (2) 该情况所能提供的平均互信息量I(X;Y). 解：(1)

P(ij)= P(i/j)=

(2) 方法1: = 6 某一无记忆信源的符号集为{0,1}，已知p0=1/4, p1=3/4 (1)求符号的平均熵（2）由100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”））的自信息量的表达式。（3）计算（2）中的序列的熵。

Y X .

. 解： (1) H(X)=

(2) = (3) 7、一阶马氏链信源有三个符号{u1,u2,u3},转移概率为： P(u1/u2)=1/2, P(u2/u2)=1/2, P(u3/u1)=0, P(u1/u2)=1/3, P(u2/u2)=0, P(u3/u2)=2/3, P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0, 画出状态图并求出各符号稳定概率。解：

P(j/i)= 解方程组求得W=

8、设有一信源，它在开始时以p(a)=0.6,p(b)=0.3,p(c)=0.1的概率发出X1，如果X1为a时则X2为a,b,c的概率为1/3;如果X1为b时则X2为a,b,c的概率为1/3;如果X1为c时则X2为a,b的概率为1/2，而为c的概率是0;而且后面发出Xi的概率只与 Xi-1有关。又p(Xi/ Xi-1)=p(X2/ X1),i≥3。试利用马儿可夫信源的图示法画出状态转移图，并求出状态转移矩阵和信源熵H∞

S1 S2 S3 1/3

1/2

1/2 2/3 1/3 2/3 .

. P(j/i)= 解方程组得到W1= , W2= , W3=

9 某信源符号有8个符号{u1,…u8},概率分别是1/2，1/4，1/8.，1/16，1/32,1/64,1/128,1/128，编成这样的码：000,001,010,011,100,101,110,111。求（1）信源的符号熵H(U) (2)出现一个“1”或一个“0”的概率；（3）这样码的编码效率；（4）相应的香农码和费诺玛；（5）该码的编码效率？解：

(1) 12141811613216411281128 H(U)=12Log2()14Log4()18Log8()116Log16()132Log32()164Log64()1128Log128()1128Log128()1.984

(2) 每个信源使用3个二进制符号,出现0的次数为

出现1的次数为 P(0)= P(1)= (3)

(4) 相应的香农编码 . . 信源符号xi 符号概率pi 累加概率Pi -Logp(xi) 码长Ki 码字 x1 1/2 0 1 1 0 x2 1/4 0.5 2 2 10 x3 1/8 0.75 3 3 110 x4 1/16 0.875 4 4 1110 x5 1/32 0.938 5 5 11110 x6 1/64 0.969 6 6 111110 x7 1/128 0.984 7 7 1111110 x8 1/128 0.992 7 7 11111110 相应的费诺码

信源符号xi 符号概率pi 第一次分组第二次分组第三次分组第四次分组第五次分组第六次分组第七次分组二元码

x1 1/2 0 0 x2 1/4 1 0 10 x3 1/8 1 0 110 x4 1/16 1 0 1110 x5 1/32 1 0 11110 x6 1/64 1 0 111110 x7 1/128 1 0 1111110 x8 1/128 1 11111110

（5）香农码和费诺码相同平均码长为

编码效率为： 10 已知符号集{x1,x2,x3,…}为无限离散集合，他们出现的概率分别是p(x1)=1/2,p(x2)=1/4,p(x3)=1/8,p(xi)=1/2i ,…。（1）用香农编码方法写出各个符号的码字；（2）计算码字的平均信息传输率。（3）计算信

源编码效率。3 解：（1） pi= 累加概率为 Pi= 累加概率分别为符号 x1 x1 x2 x3 x4 x5 x6 x7 … 概率 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/256 … 累加概率 0 0.5 0.75 0.875 0.938 0.969 0.984 0.992 …

码长 1 2 3 4 5 6 7 8 二元码 0 10 110 1110 11110 111110 1111110 11111110 … . . （2）信源的信息量为平均码长为：码字的平均信息传输率为 R＝bit/码（3）编码效率

R＝100％ 11该二进制对称信道的概率转移矩阵为3/23/13/13/2，（1）若p(x0)=3/4,p(x1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

12、某信源发送端有2个符号，xi,i=1,2,p(xi)=a,每秒发出一个符号。接收端有3种符号yj,j=1,2,3,转移概率矩阵如下：



4/14/12/102/12/1p

答案~信息论与编码练习

合集下载

信息论与编码习题答案

【免费下载】答案~信息论与编码练习

(完整版)信息论与编码-曹雪虹-课后习题答案

信息论与编码习题答案-曹雪虹

信息论与编码技术第四章课后习题答案

信息论与编码习题参考答案

信息论与编码第四章课后习题答案

《信息论与编码》课后习题答案

信息论与编码理论习题答案

信息论与编码-曹雪虹-课后习题答案

信息论与编码试题集与答案(新)

信息论与编码理论习题答案

信息论与编码技术第五章课后习题答案

信息论与编码第八章课后习题答案

信息论与编码第四章习题参考答案

信息论与编码-曹雪虹-课后习题答案 (2)

文档推荐

最新文档