信息论与编码理论习题答案

资料范本

本资料为word版本，可以直接编辑和打印，感谢您的下载

信息论与编码理论习题答案

地点：__________________

时间：__________________

说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容

第二章信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此

每个码字的信息量为 2=23=6 bit

因此，信息速率为 61000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==

得到的信息量 ===2.585 bit

(2) 可能的唯一，为 {6，6}

=

得到的信息量===5.17 bit

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：(a) =

信息量===225.58 bit

(b)

==

信息量==13.208 bit

2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。

解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，

==6=2.585 bit

==

=2(36+18+12+9+)+6

=3.2744 bit

=-=-[-]

而=，所以= 2-=1.8955 bit

或=-=+-

而= ，所以=2-=1.8955 bit

===2.585 bit

=+=1.8955+2.585=4.4805 bit

2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：

=-

因为输入等概，由信道条件可知，

即输出等概，则=10

=

=-

=0-

= --

=25+845

==1 bit

=-=10 -1=5=2.3219 bit

2.11 令{}为一等概消息集，各消息相应被编成下述二元码字

=0000，=0011，=0101，=0110，

=1001，=1010，=1100，=1111

通过转移概率为p的BSC传送。求：

(a)接收到的第一个数字0与之间的互信息量。

(b)接收到的前二个数字00与之间的互信息量。

(c)接收到的前三个数字000与之间的互信息量。

(d)接收到的前四个数字0000与之间的互信息量。解：

即，，，

=+=

===1+ bit

==

=== bit

==

=3[1+] bit

=

= bit

2.12 计算习题2.9中、、、、。

解：根据题2.9分析

=2(++++

+++)

=3.5993 bit

=-=-=1.0143 bit

=-=-=0.3249 bit

=-=-=1.0143 bit

=-=-=0.6894 bit

=-=-=0 bit

2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立

(a)+，给出等号成立的条件

(b)=+

(c)

证明：(b) =-

=-

=--

=+

(c) =-

=[-]

[-]

=-

=

当=，即X给定条件下，Y与Z相互独立时等号成立

(a) 上式(c)左右两边加上，可得

++

于是+

2.28 令概率空间，令Y是连续随机变量。已知条件概率密度为，求：

(a)Y的概率密度

(b)

(c) 若对Y做如下硬判决

求，并对结果进行解释。

解：(a) 由已知，可得

=

=

=+

=

(b) ==2.5 bit

=

= =2 bit

=-=0.5 bit

(c) 由可得到V的分布律

再由可知

bit

=1 bit

== 0.5 bit

2.29 令和是同一事件集U上的两个概率分布，相应的熵分别为和。

(a)对于，证明=+是概率分布

(b)是相应于分布的熵，试证明+

证明：(a) 由于和是同一事件集U上的两个概率分布，于是

0，0

=1，=1

又，则

=+0

=+=1

因此，是概率分布。

(b) =

=

（引理2）

=+

第三章信源编码——离散信源无失真编码

3.1 试证明长为的元等长码至多有个码字。

证： = 1 \* GB3 ① 在元码树上，第一点节点有个，第二级有 QUOTE D2 ，每个节点对应一个码字，若最长码有，则函数有==，此时，所有码字对应码树中的所有节点。

= 2 \* GB3 ② 码长为1的个；码长为2的个，…，码长为的个

∴总共=个

3.2 设有一离散无记忆信源。若对其输出的长为100的事件序列中含有两个或者少于两个的序列提供不同的码字。

(a) 在等长编码下，求二元码的最短码长。

(b) 求错误概率（误组率）。

解: (a)不含的序列 1个

长为100的序列中含有1个的序列 QUOTE C1001 =100个

长为100的序列中含有2个的序列 =4950个

∴所需提供码的总数M=1+100+4950=5051

于是采用二元等长编码 =12.3，故取=13

(b)当长度为100的序列中含有两个或更多 QUOTE a1 的时出现错误，

因此错误概率为

=-

=

3.3 设有一离散无记忆信源，U=，其熵为。考察其长为的输出序列，当时满足下式

(a)在=0.05，=0.1下求

(b)在=，=下求

(c)令是序列的集合，其中

试求L=时情况(a)(b)下，T中元素个数的上下限。

解：===0.81 bit

QUOTE a1a21434 =

==-

=

=0.471

则根据契比雪夫大数定理

(a) ===1884

(b) ==4.71

(c) 由条件可知为典型序列，若设元素个数为，则根据定理

其中，，可知

(i) ，，

下边界：

上边界：=

故

(ii) ，，

=

故

3.4 对于有4字母的离散无记忆信源有两个码A和码B，参看题表。

(a) 各码是否满足异字头条件？是否为唯一可译码？

(b) 当收到1时得到多少关于字母a的信息？

(c) 当收到1时得到多少关于信源的平均信息？

解：①码A是异头字码，而B为逗点码，都是唯一可译码。

②码A bit

码B bit

③码A U=｛｝

==1.32 bit

码B =0 bit

（收到1后，只知道它是码字开头，不能得到关于U的信息。）

3.5 令离散无记忆信源

(a) 求最佳二元码,计算平均码长和编码效率。

(b) 求最佳三元码,计算平均码长和编码效率。

解：(a)

=3.234 bit

平均码长 =3.26=

效率

(b)

平均码长 =2.11

=3.344

效率

3.6 令离散无记忆信源

(a) 求对U的最佳二元码、平均码长和编码效率。

(b) 求对U的最佳二元码、平均码长和编码效率。

(c) 求对U的最佳二元码、平均码长和编码效率。

解：(a)

=0.5×1+0.3×2+2×0.2=1.5

bit

(b) ∵离散无记忆∴H(UU)=2H(U)=2.97 bit

p(aa)=0.25, p(aa)=0.15, p(aa)=0.1, p(aa)=0.15, p(aa)=0.09

p(aa)=0.06, p(aa)=0.1, p(aa)=0.06, p(aa)=0.04

==0.99

(c) 有关最佳二元类似略

3.7 令离散无记忆信源

且0≤P(a)≤P(a)≤…. ≤P(a)<1。定义Q=, i>1，而Q1=0，今按下述方法进行二元编码。消息a的码字为实数Q的二元数字表示序列的截短（例如

1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度n是大于或等于I(a)的最小整数。

(a) 对信源构造码。

(b) 证明上述编码法得到的码满足异字头条件，且平均码长满足

H(U)≤≤H(U)+1。

解：(a)

(b) 反证法证明异字头条件

令k

又由可知，

从而得

这与假设是的字头（即）相矛盾，故满足异字头条件。

由已知可得

对不等号两边取概率平均可得

即

3.8 扩展源DMC，

(a)求对U的最佳二元码、平均码长和编码效率。

(b)求对U的最佳二元码、平均码长和编码效率。

(c)求对U的最佳二元码、平均码长和编码效率。

(d)求对U的最佳二元码、平均码长和编码效率。

解：(a) ，=1，=1

bit

DMC信道

，，

(c)

=2.944 =0.981

=98.85%

(d) 略

3.9 设离散无记忆信源试求其二元和三元Huffman编码。

解：

3.11 设信源有K个等概的字母,其中K=,12。今用Huffman编码法进行二元编码。

（a）是否存在有长度不为j或j+1的码字，为什么？

（b）利用和j表示长为j+1的码字数目。

（c）码的平均长度是多少？

解：Huffman思想：将概率小的用长码，大的用短码，保证↓，当等概时，趋于等长码。

a) 对时，K=2j，则用长度为j码表示；当时，用K=2j+1，用长度为j+1码表示。平均码长最短，则当12时，则介于两者之间，即只存在j，j+1长的码字。

b) 设长为j的码字个数为Nj，长度为j+1的码字数目为Nj+1，根据二元Huffman编码思想（必定占满整个码树），即

从而，

c） =

3.12 设二元信源的字母概率为，。若信源输出序列为

1011 0111 1011 0111

(a) 对其进行算术编码并进行计算编码效率。

(b) 对其进行LZ编码并计算编码效率。

解：

(a)

根据递推公式可得如下表格

其中，F(1)=0， F(1)= ， p(0)=， p(1)=

从而 C = 0101100111101

(b) 首先对信源序列进行分段：

1 0 11 01 111 011 0111

然后对其进行编码，编码字典如下所示

bit

3.13 设DMS为U=，各a相应编成码字0、10、110和1110。

试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。

解：

设信源序列长为N，则相应码字长为（条件是N要足够长）

相应码序列中0出现的次数

∴ p(0)= = p(1)=1-p(0)=

3.14 设有一DMS, U=

采用如下表的串长编码法进行编码

(a)求H(U)。

(b)求对于每个中间数字相应的信源数字的平均长度。

(c)求每个中间数字对应的平均长度。

(d)说明码的唯一可译性。

解：

(a) bit

由已知可得下表

(b) bit

(c) EQ EQ EQ bit

(d) 异字码头

第四章信道及信道容量

4.1 计算由下述转移概率矩阵给定的DMC的容量。

(a)

它是一对称信道，达到C需要输入等概，即=

∴C

bit/符号

(b)

它是一对称信道

∴

bit/符号

（c）

它是分信道和的和信道

由，可知 bit/符号

4.3求图中DMC的容量及最佳输入分布

（a） (b)

解：（a）由图知

发送符号1时等概率收到0,1,2,

∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道

bit/符号

（b）由图知

为准对称

∴当输入等概，即时达到信道容量C

此时

∴

= bit/符号

N个相同的BSC级联如图。

各信道的转移概率矩阵。令，且为已知。

(a) 求的表达式。

(b) 证明时有，且与取值无关，从而证明时的级联信道容量

解：N个信道级联后BSC可表示为

N个级联可以看成N-1个级联后与第N个级联

∴

同理可得

从而

(a)

(b)

因此与无关。

由于

与无关，因此，C=0。

4.8 一PCM语音通信系统，已知信号带宽W=4000 Hz，采样频率为2W，且采用8级幅度量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/32，1/32，1/32。试求所需的信息速率.

解： bit

∴信息速率 bit/s

4.9 在数字电视编码中，若每帧为500行，每行划分成600个像素，每个像素采用8电平量化，且每秒传送30帧时，试求所需的信息速率。

解：每个像素信息量为3 bit

每秒传输30帧，即个像素

∴ bit/s

4.10 带宽为3 kHZ，信噪比为30 dB的电话系统，若传送时间为3分钟，试估计可能传送话音信息的数目。

解：=30dB==1000

则R bit/s=29.9 Kb/s

又传送时间t=30分钟=180 s

∴信息量为29.9180=5.382 Mbit

4.12 若要以R=的速率通过一个带宽为8 kHz、信噪比为31的连续信道传送，可否实现？

解：根据SHANNON公式

40 Kb/s

当连续信道为高斯信道时，C

第五章离散信道编码定理

5.1 设有一DMC，其转移概率矩阵为

若=1/2，=1/4，试求两种译码准则下的译码规则，并计算误码率。

（1）最大后验概率译码准则

首先计算

∴译码规则为

∴

（2）最大似然准则译码

计算

∴译码规则

∴

显然它不是最佳。

第六章线性分组码

6.1 设有4个消息和被编成长为5的二元码00000，01101，10111，11010。试给出码的一致校验关系。若通过转移概率为p<1/2的BSC传送，试给出最佳译码表及相应的译码错误概率表示式。

解：

（1）

从而构造出

（2）根据最小距离译码准则，可得伴随式与错误图样的对应关系如下

00100100 10110100

01001000 11000010

01100001 11100110

10010000 00000000

（3）

6.4 设二元(6,3)码的生成矩阵为

试给出它的一致校验矩阵为。

H＝

信息论与编码理论习题答案

信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码第三版答案

信息论与编码第三版答案 《信息论与编码》是一本非常经典的书籍，已经成为了信息科 学领域中的经典教材。本书的第三版已经出版，相比于前两版， 第三版的变化不小，主要是增加了一些新内容，同时也对一些旧 内容做了修改和完善。 作为一本教材，上面的题目和习题都是非常重要的，它们可以 帮助读者更好地理解书中的相关概念和知识点，同时也可以帮助 读者更好地掌握理论和技术。因此，本文将介绍《信息论与编码》第三版中部分习题的答案，方便读者快速查阅和学习。 第一章：信息量和熵 1.1 习题1.1 Q：两个随机变量的独立性和无关性有什么区别？ A：独立性和无关性是两个不同的概念。两个随机变量是独立的，当且仅当它们的联合概率分布等于乘积形式的边缘概率分布。两个随机变量是无关的，当且仅当它们的协方差等于0。

1.2 习题1.7 Q：什么样的随机变量的熵等于0？ A：当随机变量的概率分布是确定的（即只有一个概率为1，其余全为0），其熵等于0。 第二章：数据压缩 2.5 习题2.9 Q：为什么霍夫曼编码比熵编码更加高效？ A：霍夫曼编码能够更好地利用信源的统计特征，将出现频率高的符号用较短的二进制编码表示，出现频率低的符号用较长的二进制编码表示。这样一来，在编码过程中出现频率高的符号会占用较少的比特数，从而能够更加高效地表示信息。而熵编码则是针对每个符号分别进行编码，没有考虑符号之间的相关性，因此相比于霍夫曼编码更加低效。

第四章：信道编码 4.2 习题4.5 Q：在线性块码中，什么是生成矩阵？ A：在线性块码中，生成矩阵是一个包含所有二元线性组合系 数的矩阵。它可以用来生成码字，即任意输入信息序列可以通过 生成矩阵与编码器进行矩阵乘法得到相应的编码输出序列。 4.3 习题4.12 Q：简述CRC校验的原理。 A：CRC校验是一种基于循环冗余校验的方法，用于检测在数 字通信中的数据传输错误。其基本思想是将发送数据看作多项式 系数，通过对这个多项式进行除法运算，得到余数，将余数添加 到数据尾部，发送给接收方。接收方将收到的带有余数的数据看 做多项式，使用同样的多项式除以一个预先定义好的生成多项式，

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士

信息论与编码理论习题答案全解

第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 524log log -C =13.208 bit

2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，

(完整版)信息论与编码习题参考答案

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解： bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。 证: . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i 1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ⨯∴⨯=-⨯=≥ ≤-=∴== ⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H 1.9 给 定 一 个 概 率 分 布 ) ,...,,(21n p p p 和一个整数m ， n m ≤≤0。定义 ∑=-=m i i m p q 1 1，证明： )log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？ 证： ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0

信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源） 2.连续信源的熵是（无穷大），不再具有熵的物理含义。 3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性 3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。 4.数据处理过程中信息具有（不增性）。 5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。 6.单符号连续信道的信道容量取决于（信噪比）。 7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。 8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。 9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。 10.立即码指的是（接收端收到一个完整的码字后可立即译码）。 11.算术编码是（非）分组码。 12.游程编码是（无）失真信源编码。 13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。 14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。 15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。 16.卷积码的自由距离决定了其（检错和纠错能力）。 （对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。 （错）3、马尔可夫信源是离散无记忆信源。 （错）4、不可约的马尔可夫链一定是遍历的。 （对）5、单符号连续信源的绝对熵为无穷大。 （错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。 （对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。（对）8、信源X,经过处理后，输出为Y，H(Y)小于H(X),说明信息不增。 （对）9、如果一个消息包含的符号比表达这个消息所需要的符号多，那么该消息存在冗余度。 （错）10、有噪无损离散信道的输入为X,输出为Y，那么其信道容量Ｃ＝ｍａｘＨ（Ｙ）。（错）11、非高斯噪声信道的信道容量比高斯噪声信道的信道容量小。 （对）12、信息率失真函数具有单调递减性。 （错）13、异前缀码不能及时可译。 （对）14、用码树构造的一定是及时码。 （对）15、香农编码压缩了符号相关造成的冗余。 （对）16、有失真信源编码指的是保真度准则下的信源编码。 （对）17、变长无失真信源编码比定长编码的编码效率高。 （错）18、香农编码是最佳编码。 （对）19、卷积、交织都可以达到差错随机化的目的。。 （错）20、卷积码的序列距离决定了其检错和纠错能力。 信息、消息、信号的定义是什么？三者的关系是什么？ 答：定义：信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言、文字和图像。 信号是消息的物理体现。

信息论与编码习题答案

信息论与编码习题答案

1.在无失真的信源中，信源输出由H(X) 来度量；在有失真的信源中，信源输出由R(D) 来度量。 2.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1) =+；当归一化信道容量C/W趋 C W SNR 近于零时，也即信道完全丧失了通信能力，此时E b/N0为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M； C)就越大。 5.已知n＝7的循环码42 =+++，则信息位长 g x x x x ()1 度k为 3 ，校验多项式 《信息论与编码A》试卷第 2 页共 10 页

《信息论与编码A 》试卷 第 3 页 共 10 页 h(x)= 31 x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1 00 1⎡⎤⎢⎥⎣⎦ ；D max ＝ 0.5 ，R (D max )＝ 0 ， 相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤ ⎢⎥⎣⎦ 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)， 5,11 p q ==,则()φn = 40 ，他的秘密密钥(d,n ) ＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ）

信息论与编码理论_西安电子科技大学中国大学mooc课后章节答案期末考试题库2023年

信息论与编码理论_西安电子科技大学中国大学mooc课后章节答案期末考试题库2023年 1.熵功率与平均功率的数值关系为 答案: 大于等于 2.X, Y和Z为离散型随机变量，I(XY;Z) ____I(X;Z) 答案: 大于等于 3.二元码_____。

答案: 不是唯一可译码 4.在现代通信系统中，信源编码主要用于解决信息传输中的可靠性问题，信道 编码主要用于解决信息传输中的有效性问题。 答案: 错误 5.根据信息不增性原理，信息传输系统中接收端收到的信息量小于发送端发出 的信息量。 答案: 错误 6.在限失真信源编码中，容许失真度D越大，所要求的信息率R就越小。 答案: 正确

7.令X，Y，Z是概率空间，则一定成立。 答案: 错误 8.如果信源编码速率R

11.以R=105bit/s的速率通过一个带宽为81KHz、信噪比为31的连续信道传 送数据，一定是可行的。 答案: 错误 12.若(n,k)线性分组码的最小汉明距离为4，则该码一定不能纠正2个错误比特 的情况。 答案: 错误 13.设随机变量X和Y的联合分布如下所示：,则 H(X)= __ 比特（保留一位有效数字） 答案: 1 14.接上题，H(Y)=___比特(保留一位有效数字) 答案: 1

15.接13题，I(X;Y)=___(保留四位有效数字) 答案: 0.2781 16.令离散无记忆信源 则S的最佳二元码相应的平均码长=____（保留三位有效数字） 答案: 2.72 17.接上题，编码效率=____（保留两位有效数字） 答案: 0.96 18.设离散无记忆信道输入集合为{0,1}，输出集合为{0,1}，信道转移概率矩阵 为。则信道容量为_____比特(保留四位有效数字)

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○○ 2/3(x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =) ()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =) (0)(2131x p x p + )()(21x p x p +=1 得43 1)(= x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(==B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=⨯=AA p 16 34341 )(=⨯=AB p 16341 43)(=⨯=BA p 16 94343)(=⨯=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为

信息论与编码理论习题答案

第二章 信息量和熵 2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信 息速率. 解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 2。3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。问各得到 多少信息量. 解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝ )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2。585 bit (2） 可能的唯一，为 {6,6｝ )(b p =361 得到的信息量=) (1 log b p =36log =5。17 bit 2.4 经过充分洗牌后的一副扑克(52张）,问： （a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量? 解:（a ） )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13。208 bit

2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点 数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则 1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3。2744 bit )|(Y X H =)(X H —);(Y X I =)(X H —[)(Y H —)|(X Y H ］ 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H —)(Y H =1.8955 bit 或)|(Y X H =)(XY H —)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H —)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2。585=4.4805 bit 2.10 设一个系统传送10个数字,0，1，…,9。奇数在传送过程中以0.5的概率错 成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知,

信息论与编码理论习题答案全解

信息论与编码理论习题答案全解

第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13.208 bit

即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I )0(p =4)1(81⨯-p +481⨯p =2 1 )0;(1u I =) 0()|0(log 1p u p =2 11log p -=1+)1log(p - bit )00(p =]2)1(4)1(2[8122p p p p +-+-=4 1 )00;(1u I =)00()|00(log 1p u p =4/1)1(log 2 p -=)]1log(1[2p -+ bit )000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=8 1 )000;(1u I =3[1+)1log(p -] bit )0000(p =])1(6)1[(8 1 4224p p p p +-+- )0000;(1u I =4 2244 )1(6)1()1(8log p p p p p +-+-- bit 2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。 解：根据题2.9分析 )(Z H =2(216log 2161+3216log 2163+6216log 2166+10 216log 21610+ 15216log 21615+21216log 21621+25216log 21625+27 216 log 21627) =3.5993 bit );(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit

信息论与编码理论课后答案

信息论与编码理论课后答案 【篇一：《信息论与编码》课后习题答案】 式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长 篇论文，从而创立了信息论。 3、按照信息的性质，可以把信息分成语法信息、语义信息和语用 信息。 4、按照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用 各种各样的信息。 6、信息的是建立信息论的基础。 7、 8、是香农信息论最基本最重要的概念。 9、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般 用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量， 定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是。 14、不可能事件的自信息量是 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的 熵的。 limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。 20、一维连续随即变量x在[a，b] 。 1log22?ep 21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。

22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p 25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。 27 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?1 1?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学 2期望，则x的信源熵c。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信 2源熵为。 31信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 33、具有一一对应关系的无噪信道的信道容量。 34、强对称信道的信道容量。 35、对称信道的信道容量。 36、对于离散无记忆信道和信源的n次扩展，其信道容量cn= 。xh(x)?logmelog52 37、对于n个对立并联信道，其信道容量 cn = 。 38、多用户信道的信道容量用多维空间的一个区域的界限来表示。 39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。 40、广播信道是只有一个输入端和多个输出端的信道。 41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。 ?ck?1nk p1log2(1?x)2pn。 42、高斯加性信道的信道容量c= 43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。 ?1/21/20??0?01??代表的信道的信道容量。 44、信道矩阵 ?10??10????01??代表的信道的信道容量。 45、信道矩阵?

答案~信息论与编码练习题

1有一个二元对称信道，其信道矩阵如下图所示。设该信道以 1500个二元符号/秒的速度 传输输入符号。现有一消息序列共有 14000个二元符号，并设在这消息中 P(0)=P(1)=1/2 。 问从信息传输的角度来考虑， 10秒钟能否将这消息序列无失真地传送完？ 0.98 0.02 ____________ • 1 0.98 解答：消息是一个二元序列 ，且为等 概率分布， H(X)=1(bit/symbol)。则该消息序列含有的信息量= 下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为： 0 98 0 02 P 0.02 0.98 信道容量(最大信息传输率)为： C=1-H(P)=1-H(0.98) ~ 0.8586bit/symbol 得最大信息传输速率为： Rt 疋1500符号/秒 X 0.8586 比特/符号 〜1287.9比特/秒 沁1.288 X 103比特/秒 此信道10秒钟能无失真传输得最大信息量= 10X Rt 疋1.288 X 104比特 可见，此信道10秒能无失真传输得最大信息量小于这消息序列所含有的信息量， 故从 信息传输的角度来考虑，不可能在 10秒钟将这消息无失真的传送完。 2、若已知信道输入分布为等概率分 布， 且有如下两个信道， 其转移概率矩阵分别为: 1 2 1 2 0 0 1 2 1 2 0 0 0 0 0 0 0 1 2 1 2 0 0 1 2 1 2 0 0 0 0 P 1 2 1 2 P 2 1 2 1 2 1 0 0 0 0 0 0 0 1 2 0 0 1 2 0 0 0 0 0 0 1 2 1 2 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 解答： (1) 由信道1的信道矩阵可知为对称信道 故 G log 2 4 H (舟 舟 0 0) 1bit / symbol H (X ) log 2 4 2bit / symbol C 1 有熵损失，有噪声。 (2) 为对称信道，输入为等概率分布时达到信道容量 C 2 log 2 8 H (2 f 0 0 0 0 0 0) 2bit / symbol H (X ) C 2,无噪声 3、已知随即变量 X 和Y 的联合分布如下所示： 1 即P(0)=P(1)=1/2 ，故信源 的熵为 14000(bit/symbol)。

信息论与编码理论-习题答案-姜楠-王健-编著-清华大学

第1章 绪论 1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农 1.3 通信系统模型 1.4 信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。 1.5 略 第2章 信息的统计度量 2.1 少 2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特 2.5 依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以 1181 p = 所需要的信息量 ()()1log 6.34I A p bit =-= 二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则 212p = 总的概率 12111812162p p p == ⨯= 所需要的信息量 ()log log1627.34I p bit =-== 2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则 ()()()0.25 0.5 |0.75p A p B p B A === 故 ()()() ()()() |0.750.25 |0.3750.5 p AB p A p B A p A B p B p B ⨯= = = =

()()()11 |log log 1.42|0.375 I A B bit p A B === 2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。 2.8 ()()()()()()2322log 3log 32log 3 1.585 I p bit I p bit I I =-=-== 故以3为底的信息单位是比特的1.585倍。 2.9 （1）J 、Z （2）E （3）X 2.10 （1）两粒骰子向上面的小圆点数之和为3时有(1, 2)和(2, 1)两种可能性，总的组合 数为116 636C C ⨯=，则圆点数之和为3出现的概率为 321 3618p = = 故包含的信息量为 ()()31 3log log 4.1718I p bit =-=-= （2）小圆点数之和为7的情况有(1, 6), (6, 1), (2, 5), (5, 2), (3, 4), (4, 3)，则圆点数之和为7出现的概率为 761366p = = 故包含的信息量为 ()()71 7log log 2.5856I p bit =-=-= 2.11 对于男性，是红绿色盲的概率记作()17%p a =，不是红绿色盲的概率记作()293%p a =， 这两种情况各含的信息量为 ()()()11100 log 1log 3.837I a p a bit ===⎡⎤⎣⎦ ()()()22100 log 1log 0.10593I a p a bit ===⎡⎤⎣⎦ 平均每个回答中含有的信息量为 ()()()()()()1122793 log 1log 1 3.830.1050.366100100H A p a p a p a p a bit =+= ⨯+⨯=⎡⎤⎡⎤⎣⎦⎣⎦ 对于女性，是红绿色盲的概率记作()10.5%p b =，不是红绿色盲的概率记作()299.5%p b =，则平均每个回答中含有的信息量为 ()()()()()()1122log 1log 1510009951000 log log 1000510009950.045H B p b p b p b p b bit =+⎡⎤⎡⎤⎣⎦⎣⎦= ⨯+⨯=