下载文档原格式
一、单项选择题1．信息就是 ( C ) A.消息 B.数字、数据、图形C.通信过程中，接受者所不知的知识（即不确定性）D.能量2. 下列关于交互信息量();i j I x y 的陈述中错误的是 （C ） A.();i j I x y 表示在接收端收到j y 后获得的关于i x 的信息量 B.();i j I x y 表示在发送端发送i x 后获得的关于j y 的信息量 C.();0i j I x y ≥D.当i x 和j y 统计独立时();0i j I x y =3. 设X 和Y 是两个信源，则下列关系式中正确的是 （C ） A.()()()H XY H X H X Y =- B.()()()H XY H X H X Y =+ C.()()()H XY H Y H X Y =+D.()()()H XY H Y H X Y =-4. 一个正常的骰子，也就是各面呈现的概率都是16，则“5出现”这件事件的自信息量为 （C ） A.16比特 B.6 比特 C.2log 6比特 D.2log 6-比特 5. 关于预测编码的描述错误的是 （ ） A.通过解除相关性压缩码率 B.通过对差值编码压缩码率 C.通过概率匹配压缩码率 D.不适用于独立信源 6. 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：0i p ≥，i ∀，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.熵的取值为一个非负数 B.熵表示信源的平均不确定度 C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.熵的取值小于等于信源的平均自信息量7. 算术编码将信源符号序列映射成哪个区间上的小数 （ C ）A. [0，1]B. [0，2]C. [1，2] D . [1，3]8. 非奇异码 （ C ） A.唯一可译 B.每个信源符号都有唯一的码字与之对应C.每个码符号序列都有唯一信源符号序列与之对应D.收到完整的码字后可即时译码9. 狭义信息论的创始人是 （ D ）A.HartlyB.NquistonD.C.E. Shannon10.单符号离散信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭的平均信息量为 （A ） A.1()log()niii H x p p ==-∑B.1()log()niii H x p p ==∑C.11()log()ni i i H x p p ==∑D. 11()log()ni i iH x p p ==∑ 11. 若信源X 中的某一符号出现的概率1i p =，则其()H X = （ B ） A.1B.0C.0.5D.0.712. 当(;)0I X Y =时，()H XY 应为 （B ） A.()()H X H Y =B.()()()H XY H X H Y =+C.(|)(|)H Y X H X Y =D.()()()H XY H X H Y <+13. 离散无记忆信道的概率转移矩阵的行和等于 （C ）A.2B.3C.1D.不确定14. 下列关于信息率失真函数()R D 的叙述错误的为 （ ）A. ()R D 为关于D 的严格递减函数 B.()R D 为关于D 的严格递增函数 C.()R D 为关于D 的下凸函数 D.当max D D > 时()0R D = 15. 设信源符号集{}123,,X x x x =，每一个符号发生的概率分别为()112p x =，()214p x =， ()314p x =，则信源熵为 （ A ） A.1.5 比特/符号 B.1.5 奈特/符号 C.1.5 哈特/符号 D.1.0比特/符号16. 设信源符号集{}1234,,,X x x x x =，每一个符号发生的概率分别为()1p x ，()2p x ，()3p x ，()4p x ，则信源熵的最大值为（ A ）A.2 比特/符号B.2 奈特/符号C.2 哈特/符号D.4比特/符号17. 下列关于联合熵()H XY 的陈述中错误的是 （ D ） A.当X 和Y 统计独立时，()()()H XY H X H Y =+ B.()()H XY H X ≥ C.()()H XY H Y ≥D.()()()H XY H X H X Y =+ 18． 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：i ∀，0i p ≥，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.()0H X ≥ B.()1,0,0,,00H =C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.设另外有一组概率矢量，()n q q q Q ,,,21 =，则 ()1log n i i i H X p q =≥-∑19. 在哈夫曼编码方法中 （ B ） A.概率大的信源符号给长码 B.概率小的信源符号给长码 C.自信息量大的信源符号给短码 D.根据信源的具体情况确定20. 二元离散信源{}0,1，以什么概率发每一个符号提供的平均信息量为最大 （ B ）A.{}0.4,0.6B.{}0.5,0.5C.{}0.99,0.01D.{}0.7,0.321. 若某字符离散信道的输入、输出符号集分别为{}12:,,,n X a a a 和{}12:,,,n Y b b b ，则其交互信息量(;)i j I a b 应为 （ A ） A.(|)log()i j i p a b p aB.(|)log()i j i p a b p a -C.1log(|)i j p a bD.log ()i p a -22. 唯一可译码和即时码具有哪种关系 （B ） A.唯一可译码就是即时码 B.即时码是唯一可译码的子集 C.唯一可译码是即时码的子集D.唯一可译码就是即时码与非奇异码之和23. 用哈夫曼码方法得到的码及其平均码长具有如下性质 （C ） A.不是唯一的，且其平均码长不相同 B.是唯一的，且平均码长也一样 C.不是唯一的，但平均码长相同 D.不能确定24. 设二进制对称信道的误传概率为p ，则下列陈述中错误的是 （C ） A.当输入等概分布时达到其信道容量 B.当输出等概分布时达到其信道容量 C.当0p =时，其信道容量为0 D.当12p =时，其信道容量为0 25. 对于离散对称信道，其输入、输出符号集分别为X 和Y ，下列叙述中错误的是（D ） A.当输入等概分布时达到信道容量 B.当输出等概分布时达到信道容量C.对称信道的条件熵()H Y X 与信道输入符号的概率分布无关D.何时达到对称信道的信道容量要根据具体信道具体确定26. 下述叙述错误的是 （ A ） A.非奇异码唯一可译 B.只有分组码才有对应的码表 C.即时码唯一可译 D.非延长码收到完整的码字后可即时译码 27. 哈夫曼编码属于哪一类编码 （ A ） A.统计 B.变换 C.预测 D.非分组 28．设信源{}621,,x x x X =，对信源X 进行二进制编码，根据Kraft 不等式，下列码中不是唯一可译码的是 ( D ) A ．000, 001, 010, 011, 100, 101 Ｂ． 0, 01, 011, 0111, 01111, 011111 C ．0, 10, 110, 1110, 11110, 111110 Ｄ． 0, 10, 110, 1110, 1011, 110129．若有一个二元序列为 000011011100000，可写成的游程序列是 （ A ） A.4 2 1 3 5 B.5 3 1 2 4 C.2 2 2 1 3 2 3 D.4 3 3 430. 在信道输出端接收到输出随机变量Y 后，对输入端的随机变量X 尚存在的平均不确定性表示为 ( B )A ．()X HＢ．()Y X H / C ．()Y HＤ．()X Y H /二、简答及名词解释1．名词解释：自信息量、熵、 2．简要描述离散信源熵的极值性 3．名词解释：离散无记忆信源4．写出冗余度的表达式并简述信源冗余度的来源 5. 简要描述平均互信息);(Y X I 的凸状性6．名词解释：对称离散信道试问：①码字中哪些是唯一可译码？②哪些是非延长码（即时码）？ ③哪些是奇异码；那些是非奇异码？ 8．名词解释：唯一可译码、即时码9．写出香农公式，解释其中各变量的含义 10．简述信源编码的两个基本途径 11. 伴随式 12. 对偶码 13. 试验信道三、计算1. 信源符号X 有6种字母，概率为(0.32, 0.22, 0.18, 0.16, 0.08, 0.04)。
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
信息论智力题目
这是一道关于信息论的智力题目：
在某个地区，有三种体型的人群：胖子、不胖不瘦的人和瘦子。
他们得高血压的概率也不同。
现在的问题是，如果我们知道某人是高血压患者，那么这句话包含了多少关于这个人身体状况的信息？
假设胖子得高血压的概率为15%，不胖不瘦者得高血压的概率为10%，瘦
子得高血压的概率为5%。
胖子占该地区的10%，不胖不瘦者占80%，瘦
子占10%。
我们需要计算这句话“该地区的某一位高血压者是胖子”包含了多少信息量。
根据信息论，信息量是衡量不确定性的减少程度。
如果某事件的发生概率很高，那么该事件的信息量就较小；如果某事件的发生概率很低，那么该事件的信息量就较大。
首先，我们要计算在不知道某人是胖子的情况下，他是高血压患者的信息量。
这等于总的得高血压的概率（也就是胖子、不胖不瘦者和瘦子的得高血压概率之和）。
然后，我们要计算在知道某人是胖子的情况下，他是高血压患者的信息量。
这等于胖子得高血压的概率。
最后，通过这两个信息量的差值，我们可以得到“该地区的某一位高血压者是胖子”这句话的信息量。
这个差值就是我们要找的答案。
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
一、简答题1、什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2、解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？3、简述最大离散熵定理。
二、判断题1、只要码字传输的信息量大于新源序列携带的信息量，就能实现几乎无失真编码。
2、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
3、唯一可译码一定是即时码，即时码不一定是唯一可译码。
4、信道容量只是信道矩阵的参数。
5、若信源符号集中增加了若干符号，当这些符号出现的概率很小几乎趋于0时，信源的熵增加。
三、计算题（每小题10分，共40分）1、某二元无记忆信源，有()()170,188P P==，求：（1）某一信源序列由50个二元符号组成，其中有m个“1”，求此序列的自信息量。
（2）求100个符号构成的信源序列的熵。
2、求以下2个信道的信道容量：122p pPp pεεεεεε--⎡⎤--⎢⎥=⎢⎥--⎣⎦，21111363611116363P⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦第 1 页共3页第 2 页 共3 页3、有一信源有6个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 。
求⑴ 这些码中哪些是唯一可译码。
⑵ 哪些是即时码1123456()0.50001100.20010101100.1010000000111000.081000001000111100.071010010010110110.05110001111011101p a A B CD a a a a a a ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦消息4、信源空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡05.005.005.005.01.01.02.04.0)(87654321s s s s s s s s s P S ，试构造二元霍夫曼码，并计算其平均码长和编码效率。
第 3 页共3页。
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论试题一、填空题（共15分，每空1分）1、当时，信源与信道达到匹配。
2、若高斯白噪声的平均功率为6 W，则噪声熵为。
如果一个平均功率为9 W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为。
3、信源符号的相关程度越大，信源的符号熵越，信源的剩余度越。
4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为，此时编码效率为。
4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<”（1）()()2212X X H H =X ()X 3H = ()3321X X X H（2）()XY H ()()Y X H Y H |+ ()()X H Y H +。
9、有一信源X ，其概率分布为=818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是。
11、当时，信源熵为最大值。
８进制信源的最大熵为。
二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
（）2）即时码可以在一个码字后面添上一些码元构成另一个码字。
（） 3）连续信源的熵可正、可负、可为零，（） 4）平均互信息始终是非负的。
（）5）信道容量C 只与信道的统计特性有关，而与输入信源的概率分布无关。
（）三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。
通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1）香农信道容量；2）无误码传输的最高符号速率。
四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。
此信源连至信道，信道接收端接收脉冲的幅度y 处在1b 和2b 之间。
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有1H(X,Y)()()logP()()11()()log()()log ()()11()log()log ()()()()xyxyxy xy P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375(2) H(X)=2, H(Y)=1.75(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5(4)H(X|Y)=1.1264(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：(1|1)P x y ===(1|1)(1)(1|)()xP y x P x P y x P x ===∑==9.015.01.085.01.085.0⨯+⨯⨯=22.0085.0=0.39一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
第一章自我测试题一、填空题1.在认识论层次上研究信息的时候，必须同时考虑到形式、_____和_____三个方面的因素。
2.如果从随机不确定性的角度来定义信息，信息是用以消除_____的东西。
3.信源编码的结果是_____冗余；而信道编码的手段是_____冗余。
4._____年，香农发表了著名的论文_____，标志着信息论诞生。
5.信息商品是一种特殊商品，它有_____性、_____性、_____性和知识创造性等特征。
二、判断题1.信息传输系统模型表明，噪声仅仅来源于信道（）2.本体论层次信息表明，信息不依赖于人而存在（）3.信道编码与译码是一对可逆变换（）4.1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（）5.基因组序列信息的提取和分析是生物信息学的研究内容之一（）三、选择题1.下列表述中，属于从随机不确定性的角度来定义信息的是_____A．信息是数据B．信息是集合之间的变异度C．信息是控制的指令D．信息是收信者事先不知道的报道2._____是最高层次的信息A．认识论B．本体论C．价值论D．唯物论3.下列不属于狭义信息论的是_____A．信息的测度B．信源编码C．信道容量D．计算机翻译4.下列不属于信息论的研究内容的是_____A．信息的产生B．信道传输能力C．文字的统计特性D．抗干扰编码5.下列关于信息论发展历史描述不正确的是_____A．偶然性、熵函数引进物理学为信息论的产生提供了理论前提。
B．1952年，香农发展了信道容量的迭代算法C．哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。
D．1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。
四、简答题给定爱因斯坦质能方程2Emc ，试说明该方程所传达的语法信息、语义信息和语用信息。
第一章 自我测试题参考答案一、填空题1. 语义，语用2. 随机不确定性3. 减小，增加4. 1948，通信的数学理论5. 保存性，共享性，老化可能性二、判断题1. ×；2.√；3.×；4.×；5.√三、选择题1. D ；2. B ；3. D ；4. A ；5. B四、简答题语法信息：就是该方程中各个字母、符号的排列形式。
语义信息：E 为所产生的能量，m 为质量的变化，2c 为光速的平方，表示左右在量值上相等。
综合起来就是，质量的微小变化可以产生巨大的能量。
语用信息：该方程可以启发主体在一定条件下，通过物质质量的变化来产生巨大的能量，如果让能量缓慢释放出来，可以得到核能；如果让能量瞬间释放出来，可借以制造核弹。
第二章测试题一、填空题1.N 阶平稳信源的N 维分布函数与__________无关。
2.在对信源进行观察之前，对认识主体来说，信源存在__________不确定性，观察之后，信源还存在__________不确定性。
3.联合符号),(j i y x 的不确定性，等于__________的不确定性加上__________的不确定性。
4.256个亮度值构成的信源，其熵值最大为__________比特。
5.无条件熵__________条件熵，条件多的熵__________条件少的熵。
（填大于或小于） 二、判断题1.对于DMS ，长度为3的符号串的平均不确定是单个符号平均不确定的3倍。
（）2.信源内部的关联性，会提高熵值。
（）3.马尔科夫信源符号的输出不仅与当前的信源状态有关，而且还与以前的状态有关。
（）4.信息含量效率越高，信源的冗余度也越高。
（）5.与离散熵相同，微分熵也是非负的。
（） 三、选择题1.下列物理量，不满足非负性的是（）A. H(X);B. I(X;Y);C. I );(j i y x ;D. H(X Y )2.连续型随机变量的取值受限，那么该随机变量服从__________时，微分熵最大。
A. 高斯分布；B. 泊松分布；C. 均匀分布；D. 指数分布 3.下列说法中，不正确的是__________A. 熵功率P P ≤_，其中P 为连续随即变量X 的平均功率 B. 熵功率)(2_e21=X h eπP ，其中h(X)是X 的微分熵 C. 若X 平均功率为P ，但不是高斯分布，则eP πIn X h 2>)(D. X 的平均功率为P 时（均值非零），则X 得最大熵为eP πX h 2log =)( 4.下列表达式不正确的是_________A. )(+)(=)(+)(=),(j k j k j k j k y x I y I x y I x I y x IB. );(+);(<);(32131321u u u I u u I u u u IC. )(+)(=)(+)(=)(Y X H Y H X Y H X H XY HD. )(≤)(X H Y X H5.下列关于马尔科夫信源的叙述中，不正确的是__________A. 某一时刻信源符号的输出只与当时的信源状态有关，而与之前的状态无关B. 信源状态只由当前输出符号和前一时刻信源状态唯一确定C. 一般马尔科夫信源的信息熵是其平均符号熵的极限值D. M 阶马尔科夫信源的极限熵等于m+1阶条件熵第二章测试题答案一、填空题1. 时间的起点2. 先验，后验3. 关于输入k x ，干扰引入（或者：关于输出j y dd ，观察到j y 后还剩余）4. 85. 大于，小于 二、判断题1. √；2. ×；3. ×；4. ×；5.× 三、选择题1. C ；2. C ；3. C ；4. B ；5. D第三章自我测试题一、填空题1. 有记忆信道的当前输出不仅与______输入有关，还与______输入有关。
2. 既代表__________，又代表__________，因此，通常把(|)H X Y 称为信道的_____或_____3. 如果信道给定，那么|(,)X Y X I P P 是输入概率X P 的_____凸函数。
如果信源给定，那么|(,)X Y X I P P 是转移概率X Y P|的_____凸函数。
4. 衡量一个信息传递系统的好坏，有两个主要指标。
其一，_____；其二，_____。
5. 使得给定信道_____的输入分布，称为最佳输入(概率)分布，记为*X P 二、判断题1. 信道容量C 不仅与信道转移概率有关，也与信道的输入分布有关。
（）2. 噪声熵为0的信道称为确定信道。
（）3. 离散对称信道输入等概率分布时，输出未必也等概率分布。
（）4. 一般DMC 达到信道容量的充要条件为信源符号的偏互信息均等于信道容量。
（）5.信道是DMC 的充要条件是序列符号对之间的转移概率等于各个时刻单个符号对转移概率之连乘。
（）三、选择题1. 若信道和信源均无记忆，以下结论不成立的是_____A. 1(;)(;)Nkk k I X Y I XY ==∑B ．(;)(;)I X Y NI X Y =C ．1(;)(;)Nkk k I X Y I XY =<∑D ．NC NC =2. 关于两个独立信道Q1、Q2串联，下列说法不正确的是_____A. 串联信道的信道容量与组成串联信道的各分信道的信道容量存在精确的定量关系 B ．数据处理过程中，随着数据的不断处理，从处理后的数据中所得的原始信息会愈来愈少C ．串联信道的转移概率矩阵是各单元信道的转移概率矩阵之积D ．XYZ 组成一个马尔可夫链3. 信源的输出与信道的输入匹配的目的不包括_____A. 符号匹配；B. 信息匹配；C. 功率匹配；D. 降低信道剩余度 4. 以下关于连续信道的说法中，不正确的是_____A ．连续信道是时间离散、幅值连续的信道B ．连续信道的统计特性由转移概率分布函数描述C ．加性噪声信道的转移概率密度函数等于噪声的概率密度函数D ．对于无记忆加性噪声信道，若输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平均互信息量达到最小 5. 已知香农公式0()log 1S S P C P B N B ⎛⎫=+⎪⎝⎭，不能得出的结论是______ A. 在信噪比不变的前提下，增大频带，可增大信道容量B. 频带不变时，增大信噪比即可增大信道容量CC. 在P S 增大很多之后，继续增大信号功率来实现信道容量的增大是一个有效途径D. 用扩频方法来增大信道容量，其作用是有限的第三章自测题参考答案一、填空题1、当前时刻的，以前的2、收到输出Y 后对输入X 还存有的疑义，信道在传输过程中的信息损失，疑义度，损失熵3、上，下4、数量（速度）指标：信息（传输）率R ，即信道中平均每个符号传递的信息量， 质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率。
5、);(Y X I 达到最大值(即信道容量C ) 二、判断题1、×；2、√；3、×；4、√；5、√ 三、选择题1、C ；2、A ；3、C ；4、B ；5、C第四章测验题一、填空题1. 无失真编码只对信源的_____进行压缩，而不会改变信源的熵，又称冗余度压缩编码。
2. 无失真信源编码的作用可归纳为（1）_____；（2）_____3. 无失真信源编码器的熵为()H U =2.35bit /符号；则编码后的熵()H W =_____bit /码字；若平均码长为2.6比特/码字，则()H X =_____，信息率R=_____，c η=_____，冗余度cγ=_____。
4. ______的码称为奇异码5. 对于一个码，若_____，则称该码为惟一可译码 二、判断题1. 对于一个码，若每个码字都与惟一的一个信源符号相对应，则该码为惟一可译码。
（）2. 定长非奇异码肯定是惟一可译码。
（）3. 非续长码中任一码字都不是其他码字的前缀。
（）4. 非续长码必满足Kraft 不等式。
（）5. 一个码是惟一可译码的充要条件是满足Kraft 不等式。
（） 三、选择题1. 关于定长编码，以下说法不正确的是_____A. 无失真定长编码要求可用的码字数不少于扩展信源的符号数 B ．无失真r 进制定长码码长不得低于信源r 进制符号熵 C ．信源序列的分组长度N 增大可以提高编码效率 D ．引入失真不可能提高定长码的编码效率 2. 关于变长编码，以下说法不正确的是_____A. 无失真r 进制变长码码长不得低于信源r 进制符号熵B ．变长编码时，随着信源序列长度N 的增大，编码效率提高。
C ．变长码要求各个码字的长度互不相同D ．变长码的编码效率高于定长码3. 下述编码中_____可能是任何概率分布对应的HuffmanA ．{0, 10, 11}B ．{00, 01, 10, 110}C ．{01, 10}D ．{001, 011, 100, 101}4. 关于无失真信源编码，以下说法不正确的是_____。
