信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
4.1某离散无记忆信源概率空间为 分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。 解：信源的熵为 881.03.03.07.07.0)(H =--=lb lb X 比特/符号 当N=10时，序列码长应当满足 81.81 881 .0102)(L 1=⨯=> lb X NH 比特/序列 考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为 9.0N L L 1 1== 比特/符号 所以编码效率为 %9.97L ) (H 1 1== X η 当N=100时，序列码长为 1.881 881 .01002)(L 1=⨯=> lb X NH 比特/100符号 取L1=89比特/符号，平均每个符号的码长为 89.0N L L 2 2== 比特/符号 编码效率为 %99L ) (H 2 2== X η 4.2设离散无记忆信源为 如果要求编码效率为，允许错误概率为 ，求编码序列的长度 。 解：信源的熵为 722.02.02.08.08.0)(H =--=lb lb X 比特/符号 自信息量方差为 64.0722.0-）2.0（2.0）8.0（8.0D 22 2=+=lb lb
采用二进制码进行等长编码，序列长度应当满足 722 21062.1)1)((D N ⨯=-≥δ ηηX H 4.3设离散无记忆信源的概率空间为 要求编码效率为 (1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。 (2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结 果。 解1）信源的熵为 811.025.025.075.075.0)(H =--=lb lb X 比特/符号 自信息量方差为 471.0811.0-）25.0（25.0）75.0（75.0D 22 2=+=lb lb 采用二进制编码，序列长度为 62221029.1)1)((D N ⨯=-≥δ ηηX H 2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码 平均码长为 6875.1316 1316321631169L =⨯+⨯+⨯+⨯= 比特/2符号 每个符号码长为 84375.02 6875.12L L === 比特/符号 编码效率为
信息论习题集 第一章、判断题 1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√） 2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√） 3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√） 5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√） 6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√） 7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×） 第二章 { 一、判断题 1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√） 2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×） 5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×） 6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√） 7、互信息的统计平均为平均互信息量，都具有非负性。（×） 8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×） 9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×） | 10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×） 11、在信息处理过程中，熵是不会增加的。（√） 12、熵函数是严格上凸的。（√） 13、信道疑义度永远是非负的。（√） 14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√） 2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即2，3，…，12构成的子集）的熵； ~ (5)两个点数中至少有一个是1的自信息。 2-2 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为以 上，而女孩中身高以上的占总数一半。假如得知“身高以上的某女孩是大学 生”的消息，问获得多少信息量、
信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==
1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p = ! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=13 13524log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、 )|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =， 21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit
第1章 信息论基础 1.8 p (s 0 ) = 0.8p (s 0 ) + 0.5p (s 2 ) p (s 1 ) = 0.2p (s 0 ) + 0.5p (s 2 ) p (s 2 ) = 0.5p (s 1 ) + 0.3p (s 3 ) p (s 3 ) = 0.5p (s 1 ) + 0.7p (s 3 ) p (s 0 ) + p (s 1 ) + p (s 2 ) + p (s 3 ) = 1 p (s 0 ) = 3715， p (s 1 ) = p (s 2 ) = 376，p (s 3 ) = 37 10 第2章 信息的度量 2.4 logk 2.12 （1）I (x i ) = -log1/100 = log100备注：2.12有错误 （2）H(X)=log100. 2.17 （1）())1(2log 100;14p u I -== （2）())1(2log 2100;104p u I -== （3）())1(2log 3100;1004p u I -== 2.30 （1）H (X ) = 1.69 (Bit/符号) （2）H (Y ) = 1.57 (Bit/符号) (3)() 符号/76.0)(Bit X Y H = (4) (Bit / 2.45)(符号=XY H （5）I (X;Y) = 0.81 (Bit/符号) 第3章 离散信源无失真编码 3.6 （1） 2位 （2）取码长n 1=1、n 1=2、n 1=3、n 1=3就能得到紧致码。 3.14 （1）x 1 →0，x 2→11，x 3→10 5.1=n 99.0=η （2）x 1x 1→01，x 1x 2→110，x 2x 1→101，x 1x 3→011，x 3x 1→010，x 2x 2→1111，x 2x 3→1110，x 3x 2→1001 3=n 99.0=η 3.17 方法一：概率之和与原信源某概率相等，概率之和往上排：
信息理论基础习题集【考前必看】 一、 判断： 1、 必然事件和不可能事件的自信息量都是0 。 2、 自信息量是)(i x p 的单调递减函数。 3、 单符号离散信源的自信息和信源熵都具有非负性。 4、 单符号离散信源的自信息和信源熵都是一个确定值。 5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的 6、自信息量、条件自信息量和联合自信息量之间有如下关系： )/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+= 7、自信息量、条件自信息量和互信息量之间有如下关系： /()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-=8、当随机变量X 和Y 9、当随机变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 10 11、平均互信息量布p （y j /x i 12、m 其所含符号的依赖关系相同。 i log 2n ，其中n 是信源X 的消息个数。 p （x i ）），使信道所能传送的信息率的最大值。 19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。 20、率失真函数对允许的平均失真度具有上凸性。 21、信源编码是提高通信有效性为目的的编码。 22、信源编码通常是通过压缩信源的冗余度来实现的。 23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 25、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )( b p = 36 1 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少 (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量 解：(a) )(a p = ! 521 信息量=) (1 log a p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=135213 4C 信息量=13 13524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表 示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、 )|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =， 21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H =2⨯( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 = bit
第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l。 4-2 设信源 6 126 1 126 ()1 ()()() ()i i s s s X p s p s p s p s P X = ?? ?? == ?? ?? ???? ∑ 。对此次能源进行m元唯一 可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式） 4-3设信源为 12345678 11111111 () 248163264128128 s s s s s s s s X p X ?? ???? = ???? ???? ?? ，编成这样的码：（000，001， 010，011，100，101，110，111）。求（1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为 11122 (,,,,) 3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为 11111 (,,,,) 55555 的信源也是最佳二元码。 4-5有两个信源X和Y如下： 1
2 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=???????? （1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率； （2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。 4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。 4-7设信源为1 2345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ????=???????? ，求其三元霍夫曼编 码。 4-8若某一信源有N 个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当N =2i 和N =2i +1（i 是正整数）时，每个码值的长度是多少？平均码长是多少？ 4-9现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像素上的灰度级。 （1）不考虑图像的任何统计特性，对图像进行二元等长编码，这幅图像共需要多少个二元符号描述？ （2）若考虑图像的统计特性，求这幅图像的信源熵，并对每个灰度级进行二元霍夫曼编码，问平均每个像素需用多少二元符号表示。 4-10在MPEG 中为了提高数据压缩比，采用了____方法。 A ．运动补偿与运行估计 B.减少时域冗余与空间冗余 C ．帧内图像数据与帧间图像数据压缩 D.向前预测与向后预测
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。 （2）“两个1同时出现” 这事件的自信息量。 （3）两个点数的各种组合（无序对）的熵或平均信息量。 （4）两个点数之和（即2，3，…，12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。 解： （1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log )(log )(2 2 ==-=x p X I (比特) （2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log )(log )(2 2 ==-=x p X I (比特) (3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log 18 1536log 36 6)(2 2 =+ =X H (比特/组合) （4） 22222 2111111()[log 36log 18( )log 12( )log 93618 183618 18 11136111()log ]2( )log 6 3.44(/) 18 18 36 518 18 18 H X =++++++ ++⨯++ + =比特两个点数之和 （5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.136 11 log )(2 =-=X I （比特） 2-6设有一离散无记忆信源，其概率空间为 ⎪⎪⎭⎫ ⎝⎛=====⎪⎪⎭⎫ ⎝⎛8/134 /124 /118 /30 4321x x x x P X 该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求： （1） 此信息的自信息量是多少？ （2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得 序列）（比特/18 .87)3(6)2(12)1(13)0(14=+++=I I I I
第四章 习题解答 4-1、某一信源以概率1/2、1/4、1/8、1/16、1/32和1/32产生6种不同的符号1x 、2x 、 3x 、4x 、5x 和6x ，每个符号出现是独立的，符号速率为1000（符号）/秒。（1）请计算 每个符号所含的信息量；（2）求信源的熵；（3）求单位时间内输出的平均信息量。 解： （1）按定义，各符号所含的信息量分别为 ()()()12121 log log 12 I x p x bit =-=-= ()()()22221 log log 24I x p x bit =-=-= ()()()32321 log log 38 I x p x bit =-=-= ()()()42421 log log 416I x p x bit =-=-= ()()()52521 log log 532I x p x bit =-=-= ()()()6262 1 log log 532 I x p x bit =-=-= （2）信源的熵 ()()() ()5 21222222 log 111111111111 log log log log log log 22448816163232323211345516168555025228163232323216 i i i H X p x p x ==-=------++++=+++++===∑比特符号 （3）单位时间内输出的平均信息量 ()()25 10001562.516 S I H X R == ⨯=比特 4-2 一个离散信号源每毫秒发出4种符号中的一个，各相互独立符号出现的概率分别为0.4、0.3、0.2和0.1，求该信号源的平均信息量与信息速率。 解： 信号源的平均信息量，即熵为：
信息论与编码理论-第4章无失真信源编码-习题解答 -20071202 信息论与编码理论 第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长。 ?X??s1 4-2 设信源????p(s)P(X)???1s6? p(s2)?p(s6)?? ? s2 ?p(s)?1。对此次能源进行m元唯一 i i?1 6 可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式） ?s
?X??1 4-3设信源为??1? ?p(X)???2? （1）信源的符号熵；（2）这种码的编码效率； s2 14s3s411816s5132s6s7s8? ，编成这样的码：（000，001，111???64128128? 010，011，100，101，110，111）。求 （3）相应的仙农码和费诺码。4-4求概率分布为(, 11122 信)源的二元霍夫曼编码。讨论此码对于概率分布为3551515 11111 (,,,,)的信源也是最佳二元码。55555 4-5有两个信源X和Y如下： 1 信息论与编码理论 s2s3s4s5s6s7??X??s1 ??p(X)??0.200.190.180.170.150.100.01? ????s2s3s4s5s6s7s8s9??Y??s1??p(Y)??0.490.140.140.070.070.040.020.02 0.01? ???? （1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学 ） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即： bit x y p 75.0)/(11= 求：身高160厘米以上的某女孩是大学生的信息量 即： b i t y p x y p x p y x p y x I 415.15 .075 .025.0log )()/()(log )/(log )/(1 1111111=⨯-=-=-= 2.4 设离散无记忆信源 ⎭⎬⎫⎩ ⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出 的信息为 ( 02120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 6 25 14 814183⎪ ⎭ ⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：b i t n I 951.145/811.87/== 2.9 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2 ), H(X 3/X 1X 2)及H ∞； (3) 试计算H(X 4)并写出X 4 信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语：“它 在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．． ……” (2) symbol bit X H X X X X H H symbol bit x p x p X H X X X H symbol bit X H X H N N N N i i i / 971.0)().../(lim / 971.0)6.0log 6.04.0log 4.0()(log )()()/(/ 942.1)6.0log 6.04.0log 4.0(2)(2)(12132132====+-=-===+⨯-==-∞ >-∞∑ (3) 1111 111011011100101110101001100001110110010101000011001000010000的所有符号：/ 884.3)6.0log 6.04.0log 4.0(4)(4)(44X symbol bit X H X H =+⨯-== 2.10 一阶马尔可夫信源的状态图如下图所示。信 源X 的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H ∞。 2 1 P P P P P P 解： (1) ⎪⎩⎪ ⎨⎧===⎩⎨ ⎧=++==⎪⎪⎩⎪ ⎪⎨⎧⋅+⋅=⋅+⋅=⋅+⋅=⎪⎩⎪ ⎨⎧+=+=+=3/1)(3/1)(3/1)(1)()()()()()()()()()()()() ()()() /()()/()()()/()()/()()() /()()/()()(3 213213211333222111313333 32322222121111e p e p e p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p ⎭ ⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡⎪⎪⎩⎪ ⎪⎨⎧=+=⋅+⋅=+==+=⋅+⋅=+==+=⋅+⋅=+=3/123/113/10 )(3 /13/)()()()/()()/()()(3/13/)()()()/()()/()()(3 /13/)()()()/()()/()()(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p
信息论习题集 第二章 2.1 同时掷2颗骰子，事件A 、B 、C 分别表示：（A ）仅有一个骰子是3；（B ）至少有一个骰子是4；（C ）骰子上点数的总和为偶数。试计算A 、B 、C 发生后所提供的信息量。 2.3 一信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。设信源向信宿发出3x ，但由于传输中的干扰，接收者收到3x 后，认为其可信度为0.9。于是信源再次向信宿发送该符号（3x ），信宿准确无误收到。问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ 2.5 一信源有6种输出状态，概率分别为 ()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025 试计算()H X 。然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。 2.6 中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个16⨯16的二元点阵显示，试计算显示方阵所能表示的最大信息量。显示方阵的利用率是多少？ 2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。此消息在二进制对称信道上传输，信道传输特性为1122(|)(|)1p b a p b a ε==-，1221(|)(|)p b a p b a ε==。求互信息量11(;)I a b 和12(;)I a b 。 2.8 已知二维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==， (0,1)(1,0)3/8p p ==，求(|)H X Y 。 2.13 有两个二元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另一随机变量Z X Y =（一般乘积）。试计算： 表2.5 （1） 熵(),(),(),(),(),()H X H Y H Z H XZ H YZ H XYZ ；
[例 条件熵] 已知X ，Y }1,0{∈,XY 构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。 解： 根据条件熵公式： ∑∑==-=m j n i j i j i y x p y x p Y X H 112)/(log )()/( )() ()/(j j i j i y p y x p y x p = 首先求∑==2 1 )()(i j i j y x p y p ，有
) /(406 .0243log 8341log 8 1 ) 1/1(log )11() 0/1(log )10()1/0(log )01()0/0(log )00()/(, 4 3 )1/0()0/1() 1/1(41 2/18/1)0()00()0()00()0/0()0/0(2 1 )1()1(8 1 83)10()00()0()0(22222211111212111symbol bit p p p p p p p p Y X H p p p y p y x p p p y x p p y p p c y x p y x p y p p =⨯⎪⎭⎫ ⎝⎛--=-----============== ===+==+====从而有： 同理可求得[例将已知信源⎭ ⎬⎫ ⎩⎨⎧=⎥ ⎦⎤⎢ ⎣⎡5.05 .0)(21 x x X P X 接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 1 x 1 y 2x 2y
解：（1）由),/()()(i j i j i x y p x p y x P =求出各联合概率： 49.098.05.0)/()()(11111=⨯==x y p x p y x p 01.002.05.0)/()()(12121=⨯==x y p x p y x p 10.020.05.0)/()()(21212=⨯==x y p x p y x p 40.080.05.0)/()()(22222=⨯==x y p x p y x p （2）由,)()(1 ∑==n i j i j y x P y P 得到Y 集各消息概率： =)(1y p 59.010.049.0)()()(12112 1 1=+=+=∑=y x p y x p y x P i i 41.059.01)(1)(12=-=-=y p y p （3）由) ()()/(j j i j i y p y x p y x p = ，得到X 的各后验概率： 831.059 .049 .0)()()/(11111===y p y x p y x p 169.0)/(1)/(1112=-=y x p y x p 同样可推出976.0)/(,024.0)/(2221==y x p y x p （4）)/(1}5.0log 5.05.0log 5.0{)(log )()(222 12符号比特=+-=-=∑=i i i x p x p X H }41.0log 41.059.0log 59.0{)(log )()(222 1 2+-=-=∑=i i i y p y p Y H =(比特/符号)
1．设信源⎭⎬ ⎫⎩⎨⎧=⎥⎦⎤⎢⎣ ⎡4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y 1, y 2 }，信道转移矩阵为⎥ ⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+= 3) sym bol bit y p y p Y H sym bol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) sym bol bit Y H X Y H X H Y X H Y X H Y H X Y H X H sym bol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑ 5)