信息论试题

信息论习题集1.有一离散无记忆信源12,31,44s s ??(1)构造出一个即时码,求出信息传输率和编码效率；(2)对其二次扩展信源编码,并求出信息传输率及编码效率,并与(1)的结果相比较。

解：（1）其信源熵为21()()log ()0.75log 0.750.25log 0.250.81127i i i H X P x P x ==-=--=∑比特现利用二进制符号（0，1）进行编码，令s1=0，s2=1，这时平均码长 211(/i i i L p l ===∑码元信源符号）信息传输率为：()0.811(/H S R bit L==码元符号）编码的效率为2()0.811log rH S L η==（2）为了提高传输效率，根据香农第一定理得物理概念，利用霍夫曼编码方法信源中每一个信源符号的码长信息传输率为：()0.811=0.961(/27/32H S R bit L==码元符号）编码的效率为2()0.961log rH S L η==。

结论：二次扩展信源编码复杂一些，但信息传输率和编码效率提高了。

2.设有一离散信道，其信道传递矩阵为0.50.30.20.20.30.50.30.30.4?并设123()0.4,()()0.3P x P x P x ===，分别按最小错误概率准则和最大似然译码准则确定译码规则，并计算相应的平均错误概率。

2*23/16*31/16*327/16/=＋＋（码元两个信源符号）227/32(/2L L ==码元信源符号）3.二元对称信道如图。

1）若32(0),(1)55p p ==，，求；2）求该信道的信道容量和最佳输入分布。

4. 信源空间为试构造二元最佳编码，计算其编码效率。

解：二元码的码字依序为：10，11，010，011，1010，1011，1000，1001（注必须要有编码过程）平均码长，编码效率5.设有一离散信道，其信道矩阵为，求：当，时，求平均互信息信道疑义度解：当，时，有则6.设有一个马尔可夫信源，其状态图如图所示：（1）求平稳状态下各状态极限概率Q(E （i ）)。

一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。

2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。

3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。

4．离散对称信道输入等概率时，输出为 等概 分布。

5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。

6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。

12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。

解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。

信息论习题集第二章2.1 同时掷2颗骰子，事件A 、B 、C 分别表示：（A ）仅有一个骰子是3；（B ）至少有一个骰子是4；（C ）骰子上点数的总和为偶数。

试计算A 、B 、C 发生后所提供的信息量。

2.3 一信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。

设信源向信宿发出3x ，但由于传输中的干扰，接收者收到3x 后，认为其可信度为0.9。

于是信源再次向信宿发送该符号（3x ），信宿准确无误收到。

问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ 2.5 一信源有6种输出状态，概率分别为()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025试计算()H X 。

然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。

2.6 中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个16⨯16的二元点阵显示，试计算显示方阵所能表示的最大信息量。

显示方阵的利用率是多少？2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。

此消息在二进制对称信道上传输，信道传输特性为1122(|)(|)1p b a p b a ε==-，1221(|)(|)p b a p b a ε==。

求互信息量11(;)I a b 和12(;)I a b 。

2.8 已知二维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==，(0,1)(1,0)3/8p p ==，求(|)H X Y 。

2.13 有两个二元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另一随机变量Z X Y =（一般乘积）。

习 题一、填空1、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

2、 事物的不确定度是用时间统计发生 概率的对数 来描述的。

3、 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

4、 一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

5、 必然事件的自信息是 0 。

6、 不可能事件的自信息量是 ∞ 。

7、 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

8、 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

9、 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

10、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

11、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

12、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。

13、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。

14、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。

15、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。

16、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。

17、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为m xe m x p -=1)(，其中：0≥x ，m 是X 的数学期望，则X 的信源熵=)(X H C me 2log 。

18、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。

19、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。

一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。

(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。

A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。

（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。

(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。

(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。

（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。

（T)8、平稳的离散无记忆信道不可用一维概率描述。

(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。

3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。

试题一一、填空（共20分）1．信息技术的基本内容是＿＿＿＿＿＿＿、＿＿＿＿＿＿＿、＿＿＿＿＿＿＿、＿＿＿＿＿＿＿。

2．已知英语字母的极限熵为1bit，且每个英语字母的最大熵H max=4.0651bit，则英语信源的冗余度为＿＿＿＿＿＿。

3．当x i和y j相互独立时，互信息量I（x i；y j）为＿＿＿＿＿＿。

4．熵函数是严格的＿＿＿＿＿函数。

5．已知信源包含的消息用一种延长码组进行编码，它们的对应关系：x1 0，x201，x3011，x40111。

设收到的码元序列为010101110011100110101110，它能唯一地被译成消息＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。

6．信道容量的定义是＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。

7．唯一可译码的码长必需满足一定条件，该条件为：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。

二、简述题（20分）1、试简述信息的基本性质。

2、试通过简单的通信模型，描述平均互信息量的物理意义。

三、有两个二元随机变量X和Y的联合概率如下表，并定义另一随机变量Z=X ⊕Y （其中⊕代表异或运算，即当X，Y取值相同时，Z等于0，当X，Y取值不相同时，Z等于1）（15分）求：1、I（x0）, I（y1）2、)(X H ，)(Y H ，)(Z H3、)(XZ H ，)(XYZ H4、)/(Y X H ，)/(Z X H ，)/(XZ Y H5、);(Z X I ，)/;(Z Y X I四、设有一个信源，它产生0，1序列的消息。

它在任意时间而且不论以前发出过什么符号，均按P （0）=0.4，P （1）=0.6的概率发出符号。

1、试问这个信源是否是平稳的 2、试计算H （X 2），H （X 3/X 1X 2）3、试计算H （X 4）并写出X 4信源中可能有的所有符号。

（15分）1、对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率2、求编码后码字中码元0、1的概率分布。

信息论试题一、选择题1. 信息论的创始人是（）。

A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。

A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。

A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。

A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。

A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。

2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。

3. 香农在1948年发表的论文《________》奠定了信息论的基础。

4. 在数字通信中，信道容量可以通过公式________来计算。

5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。

三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。

2. 描述香农信息论中的主要概念及其相互之间的关系。

3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。

4. 讨论信息论对于密码学和信息安全的贡献。

四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。

2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。

3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。

4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。

信息论习题集一、名词解释（20道）1、“本体论”的信息（P2）2、“认识论”信息（P2）3、离散信源（P7）4、自信息量（P9）5、离散平稳无记忆信源（P39）6、信源冗余度 （P51）7、连续信源 （P52） 8、信道容量 （P73） 9、强对称信道 （P75-76）10、对称信道 （P78） 11、多符号离散信道（P83） 12、连续信道 （P95）13、平均失真度 （P105） 14、实验信道 （P107） 15、率失真函数 （P107）16、信息价值率 （P127） 17、BSC 信道 （P171） 18、码的最小距离 （P174）19、线性分组码 （P175） 20、循环码 （P188）二、填空（84道）1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。

2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。

4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。

5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

6、 信息的 可度量性 是建立信息论的基础。

7、 统计度量 是信息度量最常用的方法。

8、 熵 是香农信息论最基本最重要的概念。

9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

信息论习题集信息论习题集⼀、填空题1、⼈们研究信息论的⽬的是为了⾼效、可靠安全地交换和利⽤各种各样的信息。

2、单符号离散信源输出的消息⼀般⽤随机变量描述，⽽符号序列离散信源输出的消息⼀般⽤随机⽮量描述。

3、两个相互独⽴的随机变量的联合⾃信息量等于两个⾃信息量之和。

4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。

5、必然事件的⾃信息是 0 ，不可能事件的⾃信息量是 00 。

6、信道的输出仅与信道当前的输⼊有关，⽽与过去输⼊⽆关的信道称为⽆记忆信道。

7、若纠错码的最⼩距离为min d ，则可以纠正任意⼩于等于t= 个差错。

8、必然事件的⾃信息量是 0 ，不可能事件的⾃信息量是 00 。

9、⼀信源有五种符号{a ， b ， c ， d ， e}，先验概率分别为 a P =0.5， b P =0.25， c P =0.125，d P =e P =0.0625。

符号“a ”的⾃信息量为____1____bit ，此信源的熵为____1.875____bit/符号。

10、已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。

11、克劳夫特不等式是唯⼀可译码存在与否的充要条件。

{00，01，10，11}是否是唯⼀可译码？。

12、离散平稳⽆记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

13、对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为信源符号等概分布_ 。

⼆、选择题1、下⾯哪⼀项不属于最简单的通信系统模型：（ B ）A ．信源B ．加密C ．信道D ．信宿 2、信道编码的⽬的是（ A ）。

A 提⾼通信系统的可靠性B 提⾼通信系统的有效性C 提⾼通信系统的保密性D 提⾼通信系统的实时性3、给定x i 条件下随机事件y j 所包含的不确定度和条件⾃信息量I (y j /x i )，（C ）A 数量上不等，含义不同B 数量上不等，含义相同C 数量上相等，含义不同D 数量上相等，含义相同4、下⾯哪⼀项不是增加信道容量的途径：（C ）A 减⼩信道噪声功率B 增⼤信号功率C 增加码长D 增加带宽5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。

信息论基础试题
以下是一些关于信息论基础的试题：
1. 什么是信息熵？请简要解释其概念和应用。

2. 请解释“信源”、“信源熵”和“平均码长”。

3. 假设一个信源有4个符号，每个符号出现的概率分别是0.3, 0.2, 0.25和0.25，求该信源的熵和平均码长。

4. 如果一个信源的熵为3比特，那计算出的平均码长是多少？
5. 请解释“信道容量”和“香农定理”。

6. 假设一个二进制对称信道的错误概率为0.1，那么该信道的容量是多少？
7. 请解释“数据压缩”以及数据压缩的原理和方法。

8. 假设有一个压缩算法可以将原始数据压缩至原来的85%，那么压缩率是多少？
9. 请解释“纠错码”以及纠错码的作用和原理。

10. 什么是哈夫曼编码？请简要解释其原理和应用。

请注意，以上问题只是信息论基础的一部分，信息论是一个较为复杂的学科领域，以上问题只涉及其中的一些基础概念和方法。

信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。

（“2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。

（“3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（W4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。

（M5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。

（V）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。

（V7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。

（X第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。

（V2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。

（X）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。

（X4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。

（X）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。

（X6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。

（V7、互信息的统计平均为平均互信息量，都具有非负性。

（X）8、信源剩余度越大，通信效率越高，抗干扰能力越强。

（X）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。

（X）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。

（X）11、在信息处理过程中，熵是不会增加的。

（V12、熵函数是严格上凸的。

（V13、信道疑义度永远是非负的。

（V14、对于离散平稳信源，其极限熵等于最小平均符号熵。

（V2-1同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”事件的自信息量；（2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2, 3,…，12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。

一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有1H(X,Y)()()logP()()11()()log()()log ()()11()log()log ()()()()xyxyxy xy P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑二、（50分）联合总体X ，Y 具有如下联合分布。

XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375(2) H(X)=2, H(Y)=1.75(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5(4)H(X|Y)=1.1264(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。

输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：(1|1)P x y ===(1|1)(1)(1|)()xP y x P x P y x P x ===∑==9.015.01.085.01.085.0⨯+⨯⨯=22.0085.0=0.39一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=二、（50分）联合总体X ，Y 具有如下联合分布。

XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。

考试科目名称：信息论一. 单选（每空2分，共20分）1.信道编码的目的是（C ），加密编码的目的是（D ）。

A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D ）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信道是有噪无损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独立，H（Y）=H（YX）6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H=1.5比特/符号。

问若用一般传送方式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为 ，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ）A ．香农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和香农编码D ．算术编码和游程编码二. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。

信息论基础试题一、选择题1.下列哪个选项可以正确解释信息论的基本思想？•[ ] A. 信息交流的过程中，信息可以通过信道传递。

•[ ] B. 信息的传递不受噪声的影响。

•[ ] C. 信息的度量可以基于信息内容和概率分布。

•[ ] D. 信息的传输速率与信道带宽成反比例关系。

2.假设信源A生成的符号集X有5个元素，概率分布为P(X)=[0.1, 0.2, 0.4, 0.15, 0.15]。

则信源A的熵为多少？•[ ] A. 1.52•[ ] B. 1.75•[ ] C. 1.97•[ ] D. 2.323.在信息论中，互信息表示什么意思？•[ ] A. 两个随机变量的相关程度。

•[ ] B. 从一个随机变量中获得的信息量。

•[ ] C. 两个随机变量之间的信息交流量。

•[ ] D. 两个随机变量之间的互相依赖程度。

二、填空题1.在信息论中，熵是用来衡量信源的______。

2.信源的熵可以通过概率分布计算，公式为______。

3.信道容量是指在给定的信道条件下，单位时间内可以传输的最大______。

三、简答题1.请简要解释信息熵的概念，并与不确定性联系起来。

答：信息熵是信息论中对信源不确定性的度量。

它衡量了一组符号的平均不确定性，也可以理解为平均信息量。

熵越大，表示源符号的不确定性越大，每个符号所携带的信息量就越多；熵越小，表示源符号的不确定性越小，每个符号所携带的信息量就越少。

通过熵的计算，我们可以衡量一个信源的不确定性，并基于不同的概率分布对不同信源进行比较。

不确定性是指在一个具体的情境中，我们对于某个事件的发生没有确切的判断。

信息熵与不确定性有密切的联系，熵值越高，表示我们对于事件发生的不确定性也越高。

2.什么是信道容量？在实际通信中，如何提高信道的传输容量？答：信道容量是指在给定的信道条件下，单位时间内可以传输的最大信息量。

信道容量受到信道的带宽和信道的噪声水平的影响。

要提高信道的传输容量，可以采取以下几个方法：–扩展信道带宽：增加信道的频率范围，可以提高信道的传输速率和容量。

考试科目名称：信息论一. 单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A ）A．m bitB．1 bitC．m2mD．22.信源编码的目的是（A ）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C ）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A ）和（D ）5.下列各量可能为负值的是（B ）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D ）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32=1.4比特/符号。

问若用一般传送比特/符号；以此类推，极限熵H∞方式，冗余度γ为（ B ）A．0.58B．0.71C．0.65D．0.298. 某信道传递矩阵为，其信道容量为（ D ）A ．)41log 4143log 43()81,81,41,21(4log ++-=H C B ．)41log 4343log 41()81,81,41,21(2log +--=H C C ．)41log 4143log 43()81,81,41,21(4log +--=H CD ．)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是（ C ）A ．B ．C ．⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD．二. 综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。

期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率 一，某地区的人群中 就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的 某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事 的发生 ,故其概率为 依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为 译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。

信息论测试题与答案⼀、设X、Y是两个相互统计独⽴的⼆元随机变量，其取-1 或1 的概率相等。

定义另⼀个⼆元随机变量Z，取Z=YX（⼀般乘积）。

试计算：1.H（Y）、H（Z）；2.H （YZ）；3.I （X;Y）、I （Y;Z）；⼆、如图所⽰为⼀个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布；3. 求极限熵；三、在⼲扰离散对称信道上传输符号 1 和0，已知P（0）=1/4,P(1)=3/4, 试求：1. 信道转移概率矩阵P2. 信道疑义度3. 信道容量以及其输⼊概率分布四、某信道的转移矩阵0.6 0.3 0.1 0P ，求信道容量，最佳输⼊概率分布。

0.3 0.6 0 0.1五、求下列各离散信道的容量（其条件概率P(Y/X) 如下：）六、求以下各信道矩阵代表的信道的容量答案⼀、设X、Y是两个相互统计独⽴的⼆元随机变量，其取-1或1的概率相等。

定义另⼀个⼆元随机变量Z，取Z=YX（⼀般乘积）。

试计算：1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；解：1.21111（）=-（）（）=1bit/符号H Y P y logP y log logi i2222i1Z=YX ⽽且X 和Y 相互独⽴P（Z1=1）=P(Y=1)P(X1)P(Y1)P(X1)= 11111 22222P（Z2=-1）=P(Y=1)P(X1)P(Y1)P(X1)= 11111 222222故H(Z)= P(z)log P(z)=1bit/ 符号iii12.从上式可以看出:Y 与X 的联合概率分布为:P(Y,Z) Y=1 Y=-1Z=1 0.25 0.25Z=-1 0.25 0.25H(YZ)=H(X)+H(Y)=1+1=2bit/ 符号2. X 与Y 相互独⽴，故H(X|Y)=H(X)=1bit/ 符号I （X;Y）=H(X)-H(X|Y)=1-1=0bit/ 符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/ 符号⼆、如图所⽰为⼀个三状态马尔科夫信源的转移概率矩阵3. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布； 3. 求极限熵；解：1. 状态转移图如右图32. 由公式p(E j ) P(E i ) P(E j | E i ) ,可得其三个状态的稳态概率为：i 11 1 1P(E ) P(E ) P(E ) P(E )1 12 32 2 41 1P(E ) P(E ) P(E )2 2 32 21 1P(E ) P(E ) P(E )3 1 32 4P(E ) P(E ) P(E ) 11 2 3 P(E )1P(E )2P(E )33727273. 其极限熵:33 1 1 2 1 1 2 1 1 1H = - |E = 0 + 0 +P（E）H（X ）H（，，）H（，，）H（，，）i i7 2 2 7 2 2 7 4 2 4 i 13 2 2 8= 1+ 1+ 1.5= bit/7 7 7 7符号三、在⼲扰离散对称信道上传输符号 1 和0，已知P（0）=1/4,P(1)=3/4, 试求：2. 信道转移概率矩阵P 2. 信道疑义度3. 信道容量以及其输⼊概率分布4.4.0.7110.9解：1. 该转移概率矩阵为P= 0.90.1 0.10.92. 根据P（XY）=P（Y|X）P（X），可得联合概率P（XY）Y YX=0 9/40 1/40X=1 3/40 27/40P(Y=i) 12/40 28/40由P（X|Y）=P(X|Y)/P(Y) 可得P(X|Y) Y=0 Y=1X=0 3/4 1/28X=1 1/4 27/28H(X|Y)=- i j （i j）符号P(x y ) log P x |y =0.09+0.12+0.15+0.035=0.4bit/ i ，j 3. 该信道是对称信道，其容量为：C=logs-H=log2-H （0.9,0.1 ）=1-0.469=0.531bit/ 符号这时，输⼊符号服从等概率分布，即XP(X ) 0 11 12 2四、某信道的转移矩阵3.0.3 0.1 0P ，求信道容量，最佳输⼊概率分布。

第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。

第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。