信息传输理论与编码复习提纲及习题参考答案 (1)

《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x np x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

信息论与编码题库及答案信息论是一门关于信息传输和处理的学科，主要研究信息的传输、存储与处理，以及在信息传输过程中可能产生的各种噪声和干扰。

信息论在近年来得到了广泛的应用，尤其在计算机科学、通信工程、数据处理以及加密技术等领域中得到了广泛应用。

作为信息处理学科的一个分支，编码学是信息论中重要的研究领域之一，主要研究在信息传输的过程中如何将信息进行编码，并在保证高可靠性的同时减少信息传输的开销。

现代编码学研究所涉及到的内容非常广泛，包括错误检测、纠正编码、信息压缩以及密码学等领域。

为了帮助广大信息与通信工程学习者更好地掌握编码理论及其应用，以下总结了一些编码学的题库及答案，供大家参考。

一、错误检测编码1. 什么是奇偶校验码？答：奇偶校验码是一种简单的错误检测编码方式，它采用了消息的一位奇偶性作为编码方式。

具体而言，对于一组位数固定的二进制数，在其中加入一个附加位，使得这组数的位数为偶数。

然后将这些二进制数按照某种规则排列，例如相邻的两位组成一组，计算每组中1的个数。

如果某组中1的个数是偶数，则附加位赋值为0，否则为1。

这样，如果在传输的过程中数据出现了单一位的错误，则会被检测出来。

2. 什么是海明编码？答：海明编码是一种通过添加校验位来实现错误检测和纠正的编码方式。

在海明编码中，校验位的数目为2的k次幂个，其中k 表示数据位中最大1的位置数。

具体而言，将原始信息看作一组二进制数，再将这些数按照某种规则排列，然后按照一定的算法计算出每个校验位的值，并将这些值添加到原始信息中。

在传输的过程中，如果发现了错误的位，则可以通过一系列错误检测和纠正的操作来确定和修复出错的信息位。

二、信息压缩编码1. 什么是霍夫曼编码？答：霍夫曼编码是一种基于无损数据压缩的编码方式，它的特点是可以将原始信息中出现最频繁的字符用最短的二进制码来表示，同时将出现次数较少的字符用较长的二进制码来表示。

具体来说，霍夫曼编码首先对原始信息中的字符进行统计，确定每个字符出现的频率。

信息论与编码习题参考答案第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：* (3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==?如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。

（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解： ！bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。

信息论与编码习题答案1.在无失真的信源中，信源输出由H(X) 来度量；在有失真的信源中，信源输出由R(D) 来度量。

2.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。

3.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)=+；当归一化信道容量C/W趋C W SNR近于零时，也即信道完全丧失了通信能力，此时E b/N0为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大。

5.已知n＝7的循环码42=+++，则信息位长g x x x x()1度k为 3 ，校验多项式《信息论与编码A》试卷第 2 页共 10 页《信息论与编码A 》试卷 第 3 页 共 10 页h(x)=31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

《信息理论与编码》习题参考答案1. 信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

莆田学院期末考试试卷（A）卷2011 — 2012 学年第一学期课程名称：信息论与编码适用年级/专业： 09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时 120分钟《．考生注意：答案要全部抄到答题纸上，做在试卷上不给分．．．．．．．．．．．．．．．．．．．．．．．．．》．一、简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

2. 香农信息论研究了哪些内容？试讲述香农第二编码定理。

3. 什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10分）4. 什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y，试证明下列不等式成立：H(X|Y)<=H(X),并说明等式成立的条件。

三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。

设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。

求（1）假设图上黑白消息出现前后没有关联，求熵H(X)；（2）假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。

2.（12分）一信源产生概率为P(1)=0.005, P(0)=0.995的统计独立二进制数符。

这些数符组成长度为100的数符组。

我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。

（1）求出为所规定的所有源符组都提供码字所需的最小码长。

（2）求信源发出一数符组，而编码器无相应码字的概率。

3.（10分）已知一个（6，3）线性分组码的全部码字为001011，110011，010110，101110，100101，111000，011101，000000。

《信息理论与编码》习题参考答案1. 信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

信息论与编码作业答案（）超全[标签:标题]篇一：信息论与编码姜丹第三版答案信息论与编码习题参考答案第一章单符号离散信源信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量；(2)“两个5同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；(4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：11样本空间：N?c6c6?6?6?36n12I(a)??logP1?log18?4.17bitN36n1(2)P2?2??I(a)??logP2?log36?5.17bitN36(1)P1?(3)信源空间：log?6??log36?4.32bit 36236H(x)?15?2436636836log36＋?log??log??log36362363364 1036636log＋?log?3.71bit365366n1136(5) P3?3??I(a)??logP3?log?1.17bitN3611H(x)?1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb）,但A，B不能同时落入同一方格内。

（1）若仅有质点A，求A落入任一方格的平均信息量；（2）若已知A已落入，求B落入的平均信息量；（3）若A，B是可辨认的，求A，B落入的平均信息量。

解：1(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log4848H(a)P(ai)logP(ai)?log48?5.58biti?148(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47H(b)P(bi)logP(bi)?log47?5.55biti?148147(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)48?47i?111?4847H(ABi)P(ABi)logP(ABi)?log(48?47)?11.14bit1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论与编码习题答案信息论与编码习题答案信息论与编码是一门研究信息传输、存储和处理的学科，它的基本原理和方法被广泛应用于通信、数据压缩、密码学等领域。

在学习信息论与编码的过程中，习题是不可或缺的一部分。

下面将为大家提供一些信息论与编码习题的答案，希望能对大家的学习有所帮助。

习题一：请解释信息熵的概念。

答案：信息熵是信息论中的一个重要概念，用来衡量一个随机变量的不确定性。

对于一个离散型随机变量X，其信息熵H(X)定义为：H(X) = -Σ P(x)log2P(x)其中，P(x)表示随机变量X取值为x的概率。

信息熵的单位是比特（bit），表示信息的平均不确定性。

信息熵越大，表示随机变量的不确定性越高，反之亦然。

习题二：请计算以下离散型随机变量的信息熵。

1. 对于一个均匀分布的随机变量，其取值范围为{1, 2, 3, 4}，请计算其信息熵。

答案：由于均匀分布，每个取值的概率相等，即P(1) = P(2) = P(3) = P(4) = 1/4。

代入信息熵的计算公式可得：H(X) = - (1/4)log2(1/4) - (1/4)log2(1/4) - (1/4)log2(1/4) - (1/4)log2(1/4)= - (1/4)(-2) - (1/4)(-2) - (1/4)(-2) - (1/4)(-2)= 22. 对于一个二值随机变量，其取值为{0, 1}，且P(0) = 0.8，P(1) = 0.2，请计算其信息熵。

答案：代入信息熵的计算公式可得：H(X) = - 0.8log2(0.8) - 0.2log2(0.2)≈ 0.7219习题三：请解释信道容量的概念。

答案：信道容量是指在给定的信道条件下，能够传输的最大信息速率。

在信息论中，信道容量是衡量信道传输效率的重要指标。

对于一个离散无记忆信道，其信道容量C定义为：C = max{I(X;Y)}其中，X表示输入信号集合，Y表示输出信号集合，I(X;Y)表示输入信号X和输出信号Y之间的互信息。

《信息论与编码技术》复习提纲一、考试题型1.填空题（共5题20%）2.判断题（共5题10%）3.选择题（共5题15%）3.计算题（共4题55%）二、考试时间（12月28日8：30-10：30）三、复习题纲第1章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？需掌握的问题：1.信息的定义是什么，信息、消息、信号之间联系与区别？P22.通信系统模型哪几部分组成？每一部分的作用的是？P83.信息论研究的主要内容？P10第2章信源及其熵I.信源的定义、分类II.离散信源的数学模型III.自信息、信息熵的定义、含义、基本性质IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？P142.离散信源的数学模型是什么？ P143.自信息、信息熵的表达式是什么？其单位是什么？含义是什么？性质是什么？P19，20 五个性质：对称性，确定性，非负性，扩展性，可加性，极值性4.离散无记忆信息熵最大时，信源概率如何分布能达到？P255.离散无记忆信源的扩展信源的定义及其扩展熵计算 P27参考P27例2.3.16.一维平维信源的定义？二维平稳信源的定义？联合熵、条件熵的计算？P30-31 参考P30 2.4.2 2.4.4 2.4.57.熵之间的相互关系？P348.连续信源的最大熵定理？P389.平均码长、编码效率、信息传输率的定义及计算？P43第3章信道及其容量I.信道的数学模型II.典型离散信道的数学模型III.二元对称信道的定义和性质IV.互信息的定义、性质V.平均互信息的定义、含义、性质VI.信道容量的定义，香农公式应用VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道的数学模型是什么？P47， P492.二元对称信道的定义及其转移矩阵是什么？ P523.信道疑义度（H（X|Y）、噪声熵（H（Y|X））、平均互信息（I（X，Y））的定义？ P53-554.平均互信息的计算，及平均互信息的性质？P585.扩展信源的转移矩阵？及互信息的不等式？参考P626.信息容量的定义？无噪无损信道、有噪无损信道、无噪有损信道、对称信道的信道容量如何计算？P637.香农公式是什么？物理意义是什么？会利用香农公式对实际问题作分析。

《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

《信息理论与编码》,答案,考试重点(1--3章)work Information Technology Company.2020YEAR《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为526752528.06610P =!≈⨯因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发生概率为()6811.241052P A -=≈⨯!可得，该排列发生所给出的信息量为()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit（2）设事件B 为从中抽取13张牌，所给出的点数互不相同。

扑克牌52张中抽取13张，不考虑排列顺序，共有1352C 种可能的组合。

13张牌点数互不相同意味着点数包括A ，2，…，K ，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。

所以13张牌中所有的点数都不相同的组合数为134。

因为每种组合都是等概率发生的，所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则发生事件B 所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ bit3.976≈ dit设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。

100只球的颜色有下列三种情况：(1) 红色球和白色球各50只； (2) 红色球99只，白色球1只；(3) 红，黄，蓝，白色各25只。

求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。

解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。

令R ——“取到的是红球”，W ——“取到的是白球”， Y ——“取到的是黄球”，B ——“取到的是蓝球”。

（1）若布袋中有红色球和白色球各50只，即()()5011002P R P W === 则 ()()221log log 212I R I W ==-== bit（2）若布袋中红色球99只，白色球1只，即 ()990.99100P R == ()10.01100P W == 则 ()()22log log 0.990.0145I R P R =-=-= bit ()()22log log 0.01 6.644I W P W =-=-= bit（3）若布袋中有红，黄，蓝，白色各25只，即()()()()2511004P R P Y P B P W ===== 则 ()()()()21log 24I R I Y I B I W ====-= bit设信源为1234560.20.190.180.170.160.17X X x x x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦求()()62log iiiP x P x -∑，井解释为什么()()622log log6i i iP x P x ->∑，不满足信源熵的极值性。

1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。

2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。

4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。

5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

6、 信息的 可度量性 是建立信息论的基础。

7、 统计度量 是信息度量最常用的方法。

8、 熵 是香农信息论最基本最重要的概念。

9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

18、离散平稳有记忆信源的极限熵，。

19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。

21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。

22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率 之比 。