信息论与编码期末考试题

（一）一、判断题共 10 小题，满分 20 分.1. 当随机变量X和Y相互独立时，条件熵)|(YXH等于信源熵)(XH. （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（）4. 只要信息传输率大于信道容量，总存在一种信道编所要求的任意小的可靠的（）5. 各码字的长度符合式，是唯一可译码存在的件. （）6. 连续信源和离散信非负性. （7. 信源的消息通过信差或失真越大，信宿收到存在的不确定性就越小，获得的信息8. 汉明码是一种线性9. 率失真函数的最小值是0.（）10.必然事件和不可能事件的自信息量都是0.（）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于.2、信源编码的目的是；信道编码的目的是.3、把信息组原封不动地搬到码字前k位的),(k n码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为X和Y，则),(),(YXNIYXI NN=成立的条件 .6、对于香农-费诺编码、诺编码和哈夫曼编码，编是.7、某二元信源()1XP X⎡⎤⎧=⎨⎢⎥⎣⎦⎩真矩阵aDa⎡⎤=⎢⎥⎣⎦，则该信源三、本题共 4 小题，满1、某信源发送端有图2-13i x )2,1(=i ,ax p =)(1；接收端有3种符号iy )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.（1）计算接收端的平均不确定度()H Y ；（2） 计算由于噪声产生的不确定度(|)H Y X ；（3） 计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源X 的符号集为}2,1,0{. （1）求信源平稳后的概率分布； （2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.4、设二元)4,7(线性矩阵为⎢⎢⎢⎢⎣⎡=000101100111010110001011G （1）给出该码的一致出所有的陪集首和与之相式；（2）若接收矢量000(=v 出其对应的伴随式S 并按码准则试着对其译码.（二）一、填空题（共15分，每1、信源编码的主要目的的主要目的是。

1、按发出符号之间的关系来分，信源可以分为（）和（）2、连续信源的熵是（），不再具有熵的物理含义。

3、对于有记忆离散序列信源，需引入（）描述信源发出的符号序列内各个符号之间的统计关联特性3、连续信源X,平均功率被限定为P时，符合（）分布才具有最大熵，最大熵是（）。

4、数据处理过程中信息具有（）。

5、信源冗余度产生的原因包括（）和（）。

6、单符号连续信道的信道容量取决于（）。

7、香农信息极限的含义是（）。

8、对于无失真信源编码，平均码长越小，说明压缩效率（）。

9、对于限失真信源编码，保证D的前提下，尽量减少（）。

10、立即码指的是（）。

11、算术编码是（）分组码。

12、游程编码是（）失真信源编码。

13、线性分组码的（）就是该码空间的对偶空间的生成矩阵。

14、若（n，k）线性分组码为MDC码，那么它的最小码距为（）。

15、完备码的特点是（）。

16、卷积码的自由距离决定了其（）。

（）1、信息是指各个事物运动的状态及状态变化的方式。

（）2、信息就是信息，既不是物质也不是能量。

（）3、马尔可夫信源是离散无记忆信源。

（）4、不可约的马尔可夫链一定是遍历的。

（）5、单符号连续信源的绝对熵为无穷大。

（）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

（）8、信源X,经过处理后，输出为Y，H(Y)小于H(X), 说明信息不增。

（）9、如果一个消息包含的符号比表达这个消息所需要的符号多，那么该消息存在冗余度。

（）10、有噪无损离散信道的输入为X,输出为Y，那么其信道容量Ｃ＝ｍａｘＨ（Ｙ）。

（）11、非高斯噪声信道的信道容量比高斯噪声信道的信道容量小。

（）12、信息率失真函数具有单调递减性。

（）13、异前缀码不能及时可译。

（）14、用码树构造的一定是及时码。

（）15、香农编码压缩了符号相关造成的冗余。

（）16、有失真信源编码指的是保真度准则下的信源编码。

（一）时间2021.03.10创作：欧阳治 一、判断题共 10 小题，满分 20 分.1. 当随机变量和相互独立时，条件熵等于信源熵. （ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（ ）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源负性. （ ）7. 信源的消息通过信道或失真越大，信宿收到消息的不确定性就越小，获得的信息量8. 汉明码是一种线性分9. 率失真函数的最小值10.必然事件和不可能事都是.（ ）二、填空题共 6 小题，满分1、码的检、纠错能力取2、信源编码的目的是；的是.3、把信息组原封不动地位的码就叫做 .4、香农信息论中的三是、、.5、设信道的输入与输别为和，则条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是. 7、某二元信源，其失真矩阵，则该信源的= .三、本题共 4 小题，满分 50 分.1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵并与进行比较.4、设二元线性分阵为（1）给出该码的一致校所有的陪集首和与之相对应（2）若接收矢量其对应的伴随小距离译码准试着对其译（二一、填空题（1分）1、信源编码的主要目的是主要目的是。

2、信源的剩余度主要来自是，二是。

3、三进制信源的最小熵为，4、无失真信源编码的平均极限制为。

（一）时间：2021.03.04创作：欧阳地一、判断题共 10 小题，满分 20 分.1. 当随机变量和相互独立时，条件熵等于信源熵.（ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（ ）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.（）6. 连续信源和离散信源非负性（ ）7. 信源的消息通过信道差或失真越大，信宿收到消息在的不确 定性就越小，获得的信息量8. 汉明码是一种线性分组9. 率失真函数的最小值是10.必然事件和不可能事量都是.（ ）二、填空题共 6 小题，满分 1、码的检、纠错能力取决2、信源编码的目的是；信的是.3、把信息组原封不动地搬位的码就叫做 4、香农信息论中的三大是、、.5、设信道的输入与输出别为和，则成立的条件.6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是.7、某二元信源，其失真矩阵，则该信源的= .三、本题共 4 小题，满分 50 分.1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵并与进行比较.4、设二元线性分组阵为.（1）给出该码的一致校验所有的陪集首和与之相对应的（2）若接收矢量出其对应的伴随式并按照最准则试着对其译码（二）一、填空题（共1分）1、信源编码的主要目的是，主要目的是。

2、信源的剩余度主要来自两是，二是。