信息论与编码第二章

信息论与编码第2章习题解答2.1设有12枚同值硬币，其中⼀枚为假币。

只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。

现⽤⽐较天平左右两边轻重的⽅法来测量（因⽆砝码）。

为了在天平上称出哪⼀枚是假币，试问⾄少必须称多少次？解：分三组，每组4个，任意取两组称。

会有两种情况，平衡，或不平衡。

(1) 平衡：明确假币在其余的4个⾥⾯。

从这4个⾥⾯任意取3个，并从其余8个好的⾥⾯也取3个称。

⼜有两种情况：平衡或不平衡。

a ）平衡：称⼀下那个剩下的就⾏了。

b ）不平衡：我们⾄少知道那组假币是轻还是重。

从这三个有假币的组⾥任意选两个称⼀下，⼜有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，⾃然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个⾃然是假币，并且我们也知道他是轻还是重。

(2) 不平衡：假定已经确定该组⾥有假币时候：推论1：在知道该组是轻还是重的时候，只称⼀次，能找出假币的话，那么这组的个数不超过3。

我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称⼀次就可以找出来假币了。

从不平衡的两组中，⽐如轻的⼀组⾥分为3和1表⽰为“轻（3）”和“轻（1）”，同样重的⼀组也是分成3和1标⽰为“重（3）”和“重（1）”。

在从另外4个剩下的，也就是好的⼀组⾥取3个表⽰为“准（3）”。

交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称⼀下。

⼜会有3种情况：(1)左⾯轻：这说明假币⼀定在第⼀次称的时候的轻的⼀组，因为“重（1）”也出现在现在轻的⼀边，我们已经知道，假币是轻的。

那么假币在轻（3）⾥⾯，根据推论1，再称⼀次就可以了。

(2)右⾯轻：这⾥有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。

这两种情况，任意取这两个中的⼀个和⼀个真币称⼀下即可。

(3)平衡：假币在“重（3）”⾥⾯，⽽且是重的。

根据推论也只要称⼀次即可。

2.2 同时扔⼀对骰⼦，当得知“两骰⼦⾯朝上点数之和为2”或“⾯朝上点数之和为8”或“骰⼦⾯朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰⼦⾯朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰⼦都为1，这⼀种结果。

第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

信息论与编码第二章课后答案在信息科学领域中，信息论和编码是两个息息相关的概念。

信息论主要研究信息的传输和处理，包括信息的压缩、传输的准确性以及信息的安全性等方面。

而编码则是将信息进行转换和压缩的过程，常用的编码方式包括霍夫曼编码、香农-费诺编码等。

在《信息论与编码》这本书的第二章中，涉及了信息的熵、条件熵、熵的连锁法则等概念。

这些概念对于信息理解和编码实现有着重要的意义。

首先是信息的熵。

熵可以简单理解为信息的不确定性。

当信息的发生概率越大，它的熵就越小。

比如说，一枚硬币的正反面各有50%的概率，那么它的熵就是1bit。

而如果硬币只有正面，那么它的熵就是0bit，因为我们已经知道了结果，不再有任何不确定性。

其次是条件熵。

条件熵是在已知某些信息(即条件)的前提下，对信息的不确定性进行量化。

它的定义为已知条件下，信息的熵的期望值。

比如说，在猜词游戏中，我们手中已经有一些字母的信息，那么此时猜测单词的不确定性就会下降，条件熵也就会减少。

除了熵和条件熵之外，连锁法则也是信息理解和编码实现中的重要概念。

连锁法则指的是一个信息在不同时刻被传输的情况下，熵的变化情况。

在信息传输的过程中，信息的熵可能会发生改变。

这是因为在传输过程中，可能会发生噪声或者数据重复等情况。

而连锁法则就是用来描述这种情况下信息熵的变化情况的。

最后，霍夫曼编码和香农-费诺编码是两种比较常用的编码方式。

霍夫曼编码是一种无损压缩编码方式，它可以将出现频率高的字符用较短的二进制编码表示，出现频率较低的字符用较长的二进制编码表示。

香农-费诺编码则是一种用于无失真信源编码的方法，可以把每个符号用尽可能短的二进制串来表示，使得平均码长最小化。

总的来说，信息论和编码是信息科学中非常重要的两个概念。

通过对信息熵、条件熵、连锁法则等的探讨和了解，可以更好地理解信息及其传输过程中的不确定性和数据处理的方法。

而霍夫曼编码和香农-费诺编码则是实现数据压缩和传输的常用编码方式。

部分答案，仅供参考。

信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log 〔21/5〕≈2.07bit ； 6点：2/7，log(7/2)≈ 平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×≈2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0 (a)I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+======0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈ (b) 由于P(Z=1/ Y=1)=1, 所以P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====xx )P()1Z /(P log)1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=1/4+(3/40)log10-(27/40)log(9/10)≈P(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log 0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bit2.9 解：A ，B ，C 分别表示三个筛子掷的点数。