第3章_离散信源(1)题与答案

信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。

信息论与编码习题参考答案 第一章单符号离散信源信息论与编码作业是 74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的 连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “2和6同时出现”这一事件的自信息量； (2) “两个5同时出现”这一事件的自信息量； (3) 两个点数的各种组合的熵； ⑷两个点数之和的熵；(5) “两个点数中至少有一个是 1”的自信息量。

解：样本空间：N =c ；c ； =6 X6 =36n 12(1) R =—”1(a) =—log R =log18=4.17bitN 36 n 2 1(2) F 2 N =36 I (a) = -log F 2 =log36 =5.17bit (3) 信源空间:2 36 1.H(x)=15 log 6 log 36 = 4.32bit36 2 36(4)log 36+ — l og 36 — log 36 — log 迸36 2 36 3 36 4 log 塑 + — log 36 =3.71bit5 36 6 (5) F 3 =匹 二11. 1(a) - Tog F 3 -log 36 =1.17bit N 36 111.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它2H(r.卫36们的坐标分别为(Xa，Ya) , (Xb，Yb),但A，B不能同时落入同一方格内。

(1)若仅有质点A，求A落入任一方格的平均信息量；(2)若已知A已落入，求B落入的平均信息量；(3)若A，B是可辨认的，求A，B落入的平均信息量。

解：1(1) 幕A落入任一格的概率:P(a i) I (aj =-log P(aJ = log 484848.H(a) - P(a j)log P(aJ = log 48 =5.58biti 41(2) ；在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ = —47.I(b) - -logP(b i) =log4748.H(b) = -' P(b i)log P(b i) =log47 =5.55biti -11 1(3) AB同时落入某两格的概率是P(ABJ二一一48 47.I(ABJ =-log P(AB i)48 47H(AB」-八P(ABJIog P(ABJ =log(48 47)=11.14biti 二1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

3.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。

求：(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解： (1)此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2)此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4/34/110)(X P X(1) 求信息符号的平均熵；(2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)bit x p x p X H ii i 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑(2)bit m x p x I x p mi i m mm i 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=---(3)bit X H X H 1.81811.0100)(100)(100=⨯==3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。

题表 3.2(1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。

进而用这一结果求码序列中的一个二进制码的熵；(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。

解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。

该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。

验证在该信道上每个字母传输的平均信息量为0.21比特。

证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。

西安电子科技大学考试时间120分钟试题1.考试形式：闭卷；2.本试卷共七大题，满分100分。

班级 学号 姓名 任课教师一（30分）基本概念题（1）请判断正误：平均互信息I （X ；Y ）不大于条件平均互信息I （X ；Y|Z ）。

（2）请给出Kraft 不等式，并说明它是否为判断唯一可译码的充要条件。

（3）请说明最大似然译码准则是否为最佳译码准则。

（4）请给出信息率失真函数R(D)的定义并解释其物理含义。

（5）请说明为什么对于平均功率受限的时间离散恒参可加噪声信道，高斯干扰是最坏的干扰及该结论在实际通信中的作用。

（6）设有一硬币，其正面出现的概率为1/3，令0表示正面，试说明在ε→0情况下一个典型序列应具备的特点，并给出这一序列出现的概率。

（7）若失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡130102，输入集合X 的概率为（1/3、1/3、1/3），请分别给出D min和D max 。

解：（1）该结论错误。

（2）craft 不等式：长度为n 1,n 2,…,n K 的D 元异字头码存在的充分必要条件是∑=-≤Kk knD11。

该不等式可以用来判断是否存在对应长度的唯一可译码，但是不能作为判断唯一可译码的充要条件。

（3）当先验等概时，最大似然准则等价于最佳译码准则；当先验不等概时，不符合最佳译码准则。

（4）信息率失真函数R (D )定义为在满足D 保真度准则下所有许可试验信道所对应的平均互信息的最小值。

其物理含义为：当给定失真度D 时，R(D)是满足保真度第2页共6页准则情况下传输信源信息速率的最低值，即信源压缩的下限。

（5）对平均功率受限的时间离散的恒参可加噪声信道容量C 满足：⎥⎦⎤⎢⎣⎡+≤≤⎪⎪⎭⎫ ⎝⎛+222log 211log 21σσσS C S 其中-2σ是噪声集Z 的熵功率。

由于在平均功率受限条件下，同样噪声功率时，高斯分布可以达到最大的熵功率，从而在高斯噪声时，上述C 取得最小值。

3.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。

求：(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解： (1)此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2)此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4/34/110)(X P X(1) 求信息符号的平均熵；(2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)bit x p x p X H ii i 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑(2)bit m x p x I x p mi i m mm i 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=---(3)bit X H X H 1.81811.0100)(100)(100=⨯==3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。

题表 3.2(1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。

进而用这一结果求码序列中的一个二进制码的熵；(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。

信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系3.3 离散平稳信源3.3.1 离散有记忆信源1.实际情况中，离散信源输出的是在空间或时间的离散符号序列，而且在序列中符号之间有依赖关系。

让我们来看两个例子！中文自然语言：字符集A={所有汉字,标点符号}根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的其他自然语言都一样，如英文、德文等离散化平面灰度图像：从XY平面空间上看，每幅画面是一系列空间离散的灰度值符号(像素点)空间每一点的符号取值是随机的可以形成不同的图像信息【分析】这类信源具有如下特点：信源输出的消息是按一定概率选取的符号序列→可用随机矢量或随机变量序列来描述这类消息输出序列的符号之间存在或强或弱的相关性→有记忆信源→研究信源的多维联合概率分布和条件概率分布3.3.1 离散有记忆信源2.离散有记忆信源是指发出的各个符号之间具有统计关联关系的一类信源。

3.【研究对象】在一般情况下，信源的前后消息之间有前后依赖关系，可以用随机矢量描述：X=X1X2…X N其中，任一X都是离散随机变量，它表i示t=i 时刻所输出的符号。

3.3.1 离散有记忆信源4.信源在t =i 时刻将要输出的符号取决于两个方面：①与信源在t =i 时刻随机变量X i 取值的概率分布p (x i )有关➢一般t 不同，p (x i ) ≠p (x j ) ②与t =i 时刻以前信源输出的符号有关➢与条件概率p (x i |x i -1x i -2…)有关➢一般情况下，p (x i |x i -1x i -2…) ≠p (x j |x j -1x j -2…)一般来说，离散信源输出序列的统计特性可能会随时间而变化，在不同时刻，其输出序列的概率分布可能不同。

3.3.2 离散平稳信源1.【问题】有时离散信源其消息出现的概率，与消息出现的时间无关，即为平稳信源。

第三章作业1、将某六进制信源进行二进制编码，如表所示，求： （1）哪些是唯一可译码？ （2）哪些是非延长码（即时码）？（3）所有唯一可译码的平均码长和编码效率。

解：（1）C1,C2,C3,C6是唯一可译码。

（2）C1, C3,C6是即时码。

（3）H(X)=2bit/符号，符号码元/31=l ，%7.6632)(11===l X H η 符号码元/125.2)(612==∑=i i i l u p l ，%1.94125.22)(22===l X H η 符号码元/125.2)(613==∑=i i i l u p l ，%1.94125.22)(33===l X H η 符号码元/5.2)(616==∑=i i i l u p l ，%805.22)(66===l X H η 2、某信源有8个符号{x 1,x 2,…,x 8}，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，编成这样的码：000，001，010，011，100，101，110，111。

求： （1）信源的符号熵； （2）出现一个1或0的概率； （3）这种码的编码效率； （4）相应的香农码和费诺码； （5）该码的编码效率。

解：（1）符号/98.1)(log )()(bit x p x p X H iii=-=∑（2）8.03/)1*12811*6412*3211*1612*812*413*21()0()0(=++++++==l l p 2.0)0(1)1(=-=p p（3）%66398.1)(===l X H η费诺码：（码字不唯一）（5）符号码元/98.1)(81==∑=ii i lx p l ，因此香农码和费诺码的编码效率均为：%10098.198.1)(===l X H η 4、设有离散无记忆信源p(X)={0.37,0.25,0.18,0.10,0.07,0.03}。

（1）求信源符号熵（2）用霍夫曼编成二元变长码，计算编码效率。