信息与编码信息与编码 15-6

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。

一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是 ，它属于狭义信息论。

2、信号是 的载体，消息是 的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。

5、信源的剩余度主要来自两个方面，一是，二是 。

6、平均互信息量与信息熵、联合熵的关系是 。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。

8、马尔可夫信源需要满足两个条件：一、 ； 二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为 和 。

12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为 、 和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为 。

16、对于密码系统安全性的评价，通常分为 和 两种标准。

17、单密钥体制是指 。

18、现代数据加密体制主要分为 和 两种体制。

19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。

信息论与编码理论习题答案全解第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+- )0000;(1u I =42244)1(6)1()1(8logp p p p p +-+-- bit2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。

信息论与编码陈运主编答案完整版信息论与编码课后习题答案详解试问四进制、⼋进制脉冲所含信息量是⼆进制脉冲的多少倍？解：四进制脉冲可以表⽰4 个不同的消息，例如：{0, 1, 2, 3}⼋进制脉冲可以表⽰8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} ⼆进制脉冲可以表⽰ 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ ⼋进制脉冲的平均信息量H X( 2) = log n = log8 = 3 bit symbol/⼆进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/所以：四进制、⼋进制脉冲所含信息量分别是⼆进制脉冲信息量的 2 倍和3 倍。

居住某地区的⼥孩⼦有25%是⼤学⽣，在⼥⼤学⽣中有75%是⾝⾼160厘⽶以上的，⽽⼥孩⼦中⾝⾼160厘⽶以上的占总数的⼀半。

假如我们得知“⾝⾼160厘⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？解：设随机变量X 代表⼥孩⼦学历X x1（是⼤学⽣）x2（不是⼤学⽣）P(X)设随机变量Y 代表⼥孩⼦⾝⾼Y y1（⾝⾼>160cm）y2（⾝⾼<160cm）P(Y)已知：在⼥⼤学⽣中有75%是⾝⾼160 厘⽶以上的即：p y( 1 / x1) = bit求：⾝⾼160 厘⽶以上的某⼥孩是⼤学⽣的信息量p x p y( 1) ( 1 / x1 ) log ×=bit即：I x( 1 / y1 ) =log p x( 1 / y1 ) = log =p y( 1 )⼀副充分洗乱了的牌（含52张牌），试问 (1) 任⼀特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52 张牌共有 52！种排列⽅式，假设每种排列⽅式出现是等概率的则所给出的信息量是：p x ( i ) =I x ( i ) =?log p x ( i ) = log52!= bit(2) 52 张牌共有 4 种花⾊、13 种点数，抽取 13 张点数不同的牌的概率如下：p x ( i ) =C 5213413I x ( i ) = ?log p x ( i ) = ?logC 5213 = bit设离散⽆记忆信源P X (X ) = x 31 /=80x 2 =1 x 3 = 2 x 4 = 3??，其发出的信息为 1/4 1/4 1/8 ?(202032)，求(1) 此消息的⾃信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是：p = ??3??14 ×?? 1 ??25 ×??1??6 ?8?48此消息的信息量是：I =?log p = bit(2) 此消息中平均每符号携带的信息量是：I n / = 45 = bit从⼤量统计资料知道，男性中红绿⾊盲的发病率为7%，⼥性发病率为%，如果你问⼀位男⼠：“你是否是⾊盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问⼀位⼥⼠，则答案中含有的平均⾃信息量是多少？解：男⼠： p x ( Y ) = 7%I x ( Y ) = ?log p x ( Y ) = ? = bit p x ( N ) = 93%I x ( N ) = ?log p x ( N ) = ? = bit H X () p x ( )log p x ( ) bitsymbol /i⼥⼠：H X () p x ( )log p x ( )bit symbol /P X ( )H(X) > log6不满⾜信源熵的极值性。

信息的编码教案初中教学目标：1. 让学生了解信息编码的基本概念和作用。

2. 掌握数字编码、字符编码和汉字编码的基本方法。

3. 能够运用编码知识解决实际问题。

教学重点：1. 信息编码的基本概念和作用。

2. 数字编码、字符编码和汉字编码的基本方法。

教学难点：1. 编码知识的实际应用。

教学准备：1. PPT课件。

2. 编码相关素材。

教学过程：一、导入（5分钟）1. 引导学生思考：在日常生活中，我们如何传递信息？2. 学生回答，教师总结：通过语言、文字、图像等方式传递信息。

3. 提问：那么，如何确保这些信息能够准确无误地传递呢？4. 学生思考，教师引入课题：信息的编码。

二、新课讲解（20分钟）1. 讲解信息编码的基本概念：信息编码是指将信息转化为一定的符号或数字序列，以便于存储、传输和处理。

2. 讲解信息编码的作用：简化信息、防止信息丢失、提高信息处理效率等。

3. 讲解数字编码：数字编码是将数字信息转化为二进制序列，如ASCII编码、Unicode编码等。

4. 讲解字符编码：字符编码是将文字信息转化为二进制序列，如GB2312、GBK、UTF-8等。

5. 讲解汉字编码：汉字编码是将汉字信息转化为二进制序列，如GB2312、GBK、UTF-8等。

6. 示例讲解：以ASCII编码为例，讲解其编码规则及应用。

三、课堂实践（15分钟）1. 学生分组讨论：总结数字编码、字符编码和汉字编码的特点和应用场景。

2. 各组汇报讨论成果，教师点评并总结。

3. 提问：如何运用编码知识解决实际问题？4. 学生思考，教师示例：如在网络通信中，如何确保数据传输的准确性？5. 学生尝试解决实际问题，教师辅导。

四、课堂小结（5分钟）1. 回顾本节课所学内容：信息编码的基本概念、作用和编码方法。

2. 强调编码知识在实际生活中的应用。

五、课后作业（课后自主完成）1. 总结数字编码、字符编码和汉字编码的特点和应用场景。

2. 运用编码知识解决一个实际问题，如设计一个简单的信息加密和解密算法。

《信息论与编码》-曹雪虹-课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。