《信息论》期末考试试题( 卷)标准答案
- 格式：pdf
- 大小：101.73 KB
- 文档页数：8
下载文档原格式
合集下载
《信息论》期末考试试题(A 卷) 标准答案
(2) 通过错误概率为 p, 0 ≤ p ≤ 1/ 2 的二元删除信道，求最佳译码准则的判决
函数和平均译码错误率；
(2+2=4 分)
(3) 通过(1)与(2)的串联信道，求最佳译码准则的判决函数和平均译码错误
率，并与(1)和(2)的平均译码错误率进行比较，得到怎样的结论？
(2+2+3=7 分)
(4) 根据(3)的结果，求信源经过串联信道后信息量损失的上界？ (3 分)
①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ； 解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
(2 分)
(3) 写出香农第三定理中存在平均失真不大于 D 的信源编码充要条件；
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
信息论与编码期末考试题
信息论与编码期末考试题（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(XH . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （）9. 率失真函数的最小值是0. （）10.必然事件和不可能事件的自信息量都是0. （）二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X =，其失真矩阵00a D a ??=，则该信源的max D = . 三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ??=. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。
最新《信息论》试题及答案
期终练习一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。
已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。
解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者根据题意，可知：P （A ）=0.1 P （B ）=0.8 P （C ）=0.1 P （D|A ）=0.15 P （D|B ）=0.1 P （D|C ）=0.05而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）根据贝叶斯定律，可得：P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝0.1 P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （A|D ）=log （0.15）≈2.73 （bit ） 二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞解：（1）该信源达到平稳后，有以下关系成立：13212312123()()31()()()4211()()()42()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩可得1232()73()72()7Q E Q E Q E ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩3111322133313()()(|)72()()(|)73()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =========∑∑∑（2）311113222133331(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k kk k k k k H X S p a S p a S H X S p aS p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）（符号）（符号）（3）31()(|)2/7*3/23/7*12/7*06/7iii H Q E H X E ∞==⨯=++=∑（比特/符号）三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤⎢⎥⎣⎦（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =21()log ()iii p x p x ==-∑=0.75log 750.25log 25--≈0.811(比特/符号)1111212()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.6+0.25*0.4=0.55 2121222()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.4+0.25*0.6=0.45()0.55log0.550.45log0.45H Y =--=≈0.992(比特/符号)122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+-≈0.811+0.971-0.992=0.79 (比特/符号)I (X ;Y )=H (X )-H (X =0.811-0.79=0.021(比特/符号)（2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量四、求信道22042240p p p p εεεεεε⎡⎤-- ⎢⎥-- ⎢⎥⎣⎦的信道容量，其中1p p =-。
(整理)信息论期末考试试题1.doc
安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为： 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
《信息论》期末考试试题( 卷)标准答案
编码效率为： l 19
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
信息论考试卷及答案
信息论考试卷及答案考试科⽬名称：信息论⼀. 单选（每空2分，共20分）1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。
A．保证⽆失真传输B．压缩信源的冗余度，提⾼通信有效性C．提⾼信息传输的可靠性D．提⾼通信系统的安全性2.下列各量不⼀定为正值的是（D ）A．信源熵B．⾃信息量C．信宿熵D．互信息量3.下列各图所⽰信道是有噪⽆损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独⽴，H（Y）=H（YX）6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，极限熵H=1.5⽐特/符号。
问若⽤⼀般传送⽅式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下⾯不属于最佳变长编码的是（ D ）A ．⾹农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和⾹农编码D ．算术编码和游程编码⼆. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ；二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字1、0、1之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
信息论复习题期末答案
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。
信息论与编码期末复习试题A含答案.doc
莆田学院期末考试试卷（A）卷2011 — 2012学年第一学期课程名称：信息论与编码适用年级/专业：09/电信（通信）试卷类别开卷（）闭卷（V）学历层次本科考试用时120分钟《考生注意:答案要全部抄到答题纸上,做在试卷上不给分》一'简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
2.香农信息论研究了哪些内容？试讲述香农第二编码定理。
3.什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10 分）4.什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y,试证明下列不等式成立：H（X|Y）〈=H（X）,并说明等式成立的条件。
三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X詔黑，白｝。
设黑色出现的概率为P（黑）=0.3,白色的出现概率P（白）=0. 7o求（1）假设图上黑白消息出现前后没有关联，求爛H（X）；（2）假设消息前后有关联，其依赖关系为P（白/白）=0.9, P（黑/白）=0. 1, P （白/黑）=0.2, P （黑/黑）=0.8,求此一阶马尔可夫信源的嫡H2（X）；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。
2.（12分）一信源产生概率为P（l）=0. 005, P（0）=0. 995的统计独立二进制数符。
这些数符组成长度为100的数符组。
我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。
（1）求出为所规定的所有源符组都提供码字所需的最小码长。
（2）求信源发出一数符组，而编码器无相应码字的概率。
3.（10分）已知一个（6, 3）线性分组码的全部码字为00101L 11001L 010110,101110, 10010L 111000, 01110L 000000。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1) 摄像机直接输出的速率是多少？（5 分）
2) 理论上可靠传输所需的最小信道带宽是多少？（5 分）
3) 若信道带宽为 10MHz，求实现可靠传输所需要的最小信噪比为多少 dB？ （5 分）
解：
1）
R
=
50
× 104 300
× 3 × log16 × 10−3
=Байду номын сангаас
2
× 107
比特/秒
2) SNR = 14.9136dB = 31
1) 求该信道的信道容量；（2 分）
2) 当传输速率达到容量时，确定 M 与 n 的关系。（2 分）
3) 估计信道输入典型序列的个数 ；（2 分）
4) 估计信道输出典型序列的个数 ； （2 分）
5) 假定所有码字都在信道输入典型序列中选取，选择的码字可以重复，那 么大概有多少包含 M 个码字的编码？（2 分）
。
4) R(D)是满足 D 准则下平均传送每信源符号的所需的最少比特数，它是定义域 上的严格递减函数。
5) AWGN 信道下实现可靠通信的信噪比下界为－1.59dB，此时对应的频谱利用率 为 0。
6）若某离散无记忆信源有 N 个符号，并且每个符号等概出现，对这个信源进行 二元 Huffman 编码，当 N = 2i （i 是正整数）时，每个码字的长度是 i ，平 均码长是 i 。
R ≤ C = w log(1 + SNR) ⇒ w ≥
R
= 2 ×107 = 4 ×106 Hz
log(1 + SNR) log(1 + 31)
3) R ≤ C = w log(1 + SNR)
⇒ log(1+ SNR) ≥
R w
=
2 ×107 10 ×106
=
2⇒
SNR
≥ 3 = 4.77dB
4. （共 10 分）一个离散无记忆信源发出 M 个等概率消息，每个消息编成长度为 n 的码字通过一个离散无记忆二元对称信道传输。设信道的输入为 X，输出为 Y， 错误率为 0.1 ；n 长编码序列的每一个符号按达到信道容量的概率选择，共选择 M 个码字，n 选得足够大。
北京邮电大学 2005——2006 学年第 一学期
《信息论》期末考试试题（B 卷）标准答案
姓名
班级
学号
分数
一、判断题（正确打√，错误打×）（共 10 分，每小题 1 分）
1）信道疑义度始终为正；
（×）
2）信道输入与输出之间的平均互信息是输入概率分布的下凸函数； （×）
3）在信息处理过程中熵不会增加；
1 01: 12
1 10: 12
1 20: 12
1 02: 12
1 12: 12
1 21: 12
4）对此二次扩展源进行二元 Huffman 编码,编码结果为：
1 00: 6 →00
1 11: 6 →100
1 22: 6 →101
1 01: 12 →010
1 10: 12 →011
1 20: 12 →1100
（1 分）
4）重复码是否满足“高效率、高可靠性”的条件，为什么？（1+1 分）
5）当前是否存在接近仙农信道容量界的信道编码？
（1 分）
答：1）“高效率”的含义是指传输速率接近信道容量； 2）“高可靠性” 的含义是指译码差错任意小；
3）存在这种信道编码的必要条件是信息传输速率小于信道容量； 4）重复码不满足“高效率、高可靠性”的条件，因为当 n → ∞ 时，R → 0 。 5）当前存在接近仙农信道容量界的信道编码。
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
2 PQ(1 − α )2 + N (P + α 2Q)
解: 1) C = 1 − H (0.1) = 0.531 比特/符号
R = log M = C = 1 − H (0.1) ⇒ M = 20.531n
2）
n
3）信道输入典型序列的个数 NG1 = 2nH ( X ) = 2n 4) 信道输出典型序列的个数 NG2 = 2nH (Y ) = 2n
5) N = (2n )M = 2nM 5.（共 10 分）已知 X，S 为零均值、互相独立的高斯随机变量集合，方差分别为 P 、Q ；Z 为独立于 X 和 S 的零均值高斯噪声，方差为 N ；设Y = X + S + Z ， U = X + αS ，其中，α 为常数。求：
（√）
4）熵函数是严格上凸的；
（√）
5）离散平稳信源的极限熵等于最小的平均符号熵；
（√）
6）对于离散无记忆信道，达到容量时的输入概率分布是唯一的；
（×）
7）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大； （×）
8）典型序列中的信源符号出现的频率与它的概率接近；
（√）
9) 为有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布；
1） I (U ; S ) （5 分）
2） I (U ;Y ) （5 分）
解: 由已知条件可得 X ~ N (0, P) ，S ~ N (0,Q) ，Z ~ N (0, N ) ,Y ~ N (0, P + Q + N ) ,U ~ N (0, P + α 2Q)
1)
ρUS
=
E (US ) σ SσU
2
P
2)
ρUY
=
E(YU ) σYσU
=
E( X 2 + αXS + XS + αS 2 σYσU
+ XZ + αZS)
=
P + αQ σYσU
I (U ;Y ) = H (U ) + H (Y ) − H (UY )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 Y
+
log
2πeσUσ Y
2）利用最佳判决准则确定所取的硬币是哪一枚；（3 分） 3）求进行上述判决的错误率；（3 分） 解: 1) 设 x=1 表示事件“取出的是第一枚硬币”，
y=11 表示“试验结果为：面值、面值”，则
Y
p(y/x)
00
01
10
11
X1
1 4
1 4
1 4
1 4
2
0
0
0
1
I(x
= 1;
y
= 11)
=
log
p( y x) p( y)
=
log
1
1 4
× ( 1 + 1)
=
−1.322 比特
24
2) 利用最佳判决准则确定所取的硬币是第二枚硬币;
3)
pe
=
p(x
=1
y
= 11)
=
1 5
8 8
=
1 5
3. （共 15 分）某数码摄像机每 300ms 产生一幅 50 万像素的彩色图像，每个像 素由 RGB 三种颜色共同构成，每种颜色有 16 个灰度级。摄像机的输出未经任何 压缩而直接传输，传输信道是一个限带限功率的 AWGN 信道，信道中的信噪比为 14.9136dB，求：
)
3 × 1 × (− 1 log 1 − 1 log 1 − 1 log 1) = 1.5比特/信源符号 2) 此马氏源的熵： 3 2 2 4 4 4 4
3）平稳马氏源的二次扩展源的所有符号及概率为： p(x1x2 ) = p(x1 ) p(x2 x1)
1 00: 6
1 11: 6
1 22: 6
四、计算题（共 60 分）
1．（15 分）有一阶平稳马氏源 X，符号集为{0，1，2}，其中符号转移概率为: p(1/ 0) = p(0 /1) = p(0 / 2) = p(2 / 0) = p(1/ 2) = p(2 /1) = 1
4, p(0 / 0) = p(1/1) = p(2 / 2) = 1 ;
2 1) 求此马氏源的平稳分布；（4 分） 2) 求此马氏源的熵；（3 分） 3）求平稳马氏源的二次扩展源的所有符号概率；（3 分） 4）对此二次扩展源进行二元 Huffman 编码并求编码后平均码长和编码效率。 (3+2 分)
解：
1) 此马氏源的平稳分布： (π1
π2
π3
) =(1 3
1 3
1 3
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
1 02: 12 →1101
1 12: 12 →1110
1 21: 12 →1111
编码后对应每信源符号平均码长和编码效率。 (2 分)
1 × 2 + 2 × 1 × 3 + 2 × 1 × 3 + 4 × 1 × 4 = 19 = 3.167 / 扩展源符号
2) 理论上可靠传输所需的最小信道带宽是多少？（5 分）
3) 若信道带宽为 10MHz，求实现可靠传输所需要的最小信噪比为多少 dB？ （5 分）
解：
1）
R
=
50
× 104 300
× 3 × log16 × 10−3
=Байду номын сангаас
2
× 107
比特/秒
2) SNR = 14.9136dB = 31
1) 求该信道的信道容量；（2 分）
2) 当传输速率达到容量时，确定 M 与 n 的关系。（2 分）
3) 估计信道输入典型序列的个数 ；（2 分）
4) 估计信道输出典型序列的个数 ； （2 分）
5) 假定所有码字都在信道输入典型序列中选取，选择的码字可以重复，那 么大概有多少包含 M 个码字的编码？（2 分）
。
4) R(D)是满足 D 准则下平均传送每信源符号的所需的最少比特数，它是定义域 上的严格递减函数。
5) AWGN 信道下实现可靠通信的信噪比下界为－1.59dB，此时对应的频谱利用率 为 0。
6）若某离散无记忆信源有 N 个符号，并且每个符号等概出现，对这个信源进行 二元 Huffman 编码，当 N = 2i （i 是正整数）时，每个码字的长度是 i ，平 均码长是 i 。
R ≤ C = w log(1 + SNR) ⇒ w ≥
R
= 2 ×107 = 4 ×106 Hz
log(1 + SNR) log(1 + 31)
3) R ≤ C = w log(1 + SNR)
⇒ log(1+ SNR) ≥
R w
=
2 ×107 10 ×106
=
2⇒
SNR
≥ 3 = 4.77dB
4. （共 10 分）一个离散无记忆信源发出 M 个等概率消息，每个消息编成长度为 n 的码字通过一个离散无记忆二元对称信道传输。设信道的输入为 X，输出为 Y， 错误率为 0.1 ；n 长编码序列的每一个符号按达到信道容量的概率选择，共选择 M 个码字，n 选得足够大。
北京邮电大学 2005——2006 学年第 一学期
《信息论》期末考试试题（B 卷）标准答案
姓名
班级
学号
分数
一、判断题（正确打√，错误打×）（共 10 分，每小题 1 分）
1）信道疑义度始终为正；
（×）
2）信道输入与输出之间的平均互信息是输入概率分布的下凸函数； （×）
3）在信息处理过程中熵不会增加；
1 01: 12
1 10: 12
1 20: 12
1 02: 12
1 12: 12
1 21: 12
4）对此二次扩展源进行二元 Huffman 编码,编码结果为：
1 00: 6 →00
1 11: 6 →100
1 22: 6 →101
1 01: 12 →010
1 10: 12 →011
1 20: 12 →1100
（1 分）
4）重复码是否满足“高效率、高可靠性”的条件，为什么？（1+1 分）
5）当前是否存在接近仙农信道容量界的信道编码？
（1 分）
答：1）“高效率”的含义是指传输速率接近信道容量； 2）“高可靠性” 的含义是指译码差错任意小；
3）存在这种信道编码的必要条件是信息传输速率小于信道容量； 4）重复码不满足“高效率、高可靠性”的条件，因为当 n → ∞ 时，R → 0 。 5）当前存在接近仙农信道容量界的信道编码。
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
2 PQ(1 − α )2 + N (P + α 2Q)
解: 1) C = 1 − H (0.1) = 0.531 比特/符号
R = log M = C = 1 − H (0.1) ⇒ M = 20.531n
2）
n
3）信道输入典型序列的个数 NG1 = 2nH ( X ) = 2n 4) 信道输出典型序列的个数 NG2 = 2nH (Y ) = 2n
5) N = (2n )M = 2nM 5.（共 10 分）已知 X，S 为零均值、互相独立的高斯随机变量集合，方差分别为 P 、Q ；Z 为独立于 X 和 S 的零均值高斯噪声，方差为 N ；设Y = X + S + Z ， U = X + αS ，其中，α 为常数。求：
（√）
4）熵函数是严格上凸的；
（√）
5）离散平稳信源的极限熵等于最小的平均符号熵；
（√）
6）对于离散无记忆信道，达到容量时的输入概率分布是唯一的；
（×）
7）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大； （×）
8）典型序列中的信源符号出现的频率与它的概率接近；
（√）
9) 为有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布；
1） I (U ; S ) （5 分）
2） I (U ;Y ) （5 分）
解: 由已知条件可得 X ~ N (0, P) ，S ~ N (0,Q) ，Z ~ N (0, N ) ,Y ~ N (0, P + Q + N ) ,U ~ N (0, P + α 2Q)
1)
ρUS
=
E (US ) σ SσU
2
P
2)
ρUY
=
E(YU ) σYσU
=
E( X 2 + αXS + XS + αS 2 σYσU
+ XZ + αZS)
=
P + αQ σYσU
I (U ;Y ) = H (U ) + H (Y ) − H (UY )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 Y
+
log
2πeσUσ Y
2）利用最佳判决准则确定所取的硬币是哪一枚；（3 分） 3）求进行上述判决的错误率；（3 分） 解: 1) 设 x=1 表示事件“取出的是第一枚硬币”，
y=11 表示“试验结果为：面值、面值”，则
Y
p(y/x)
00
01
10
11
X1
1 4
1 4
1 4
1 4
2
0
0
0
1
I(x
= 1;
y
= 11)
=
log
p( y x) p( y)
=
log
1
1 4
× ( 1 + 1)
=
−1.322 比特
24
2) 利用最佳判决准则确定所取的硬币是第二枚硬币;
3)
pe
=
p(x
=1
y
= 11)
=
1 5
8 8
=
1 5
3. （共 15 分）某数码摄像机每 300ms 产生一幅 50 万像素的彩色图像，每个像 素由 RGB 三种颜色共同构成，每种颜色有 16 个灰度级。摄像机的输出未经任何 压缩而直接传输，传输信道是一个限带限功率的 AWGN 信道，信道中的信噪比为 14.9136dB，求：
)
3 × 1 × (− 1 log 1 − 1 log 1 − 1 log 1) = 1.5比特/信源符号 2) 此马氏源的熵： 3 2 2 4 4 4 4
3）平稳马氏源的二次扩展源的所有符号及概率为： p(x1x2 ) = p(x1 ) p(x2 x1)
1 00: 6
1 11: 6
1 22: 6
四、计算题（共 60 分）
1．（15 分）有一阶平稳马氏源 X，符号集为{0，1，2}，其中符号转移概率为: p(1/ 0) = p(0 /1) = p(0 / 2) = p(2 / 0) = p(1/ 2) = p(2 /1) = 1
4, p(0 / 0) = p(1/1) = p(2 / 2) = 1 ;
2 1) 求此马氏源的平稳分布；（4 分） 2) 求此马氏源的熵；（3 分） 3）求平稳马氏源的二次扩展源的所有符号概率；（3 分） 4）对此二次扩展源进行二元 Huffman 编码并求编码后平均码长和编码效率。 (3+2 分)
解：
1) 此马氏源的平稳分布： (π1
π2
π3
) =(1 3
1 3
1 3
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
1 02: 12 →1101
1 12: 12 →1110
1 21: 12 →1111
编码后对应每信源符号平均码长和编码效率。 (2 分)
1 × 2 + 2 × 1 × 3 + 2 × 1 × 3 + 4 × 1 × 4 = 19 = 3.167 / 扩展源符号