当前位置：文档之家 › 《信息论》部分作业详解

《信息论》部分作业详解

  • 格式：doc
  • 大小：719.09 KB
  • 文档页数：18

第2章 信源熵2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。

2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？ 解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？答案：1.415比特/符号。

提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p22log (/)log 3/8 1.415p A C -=-=2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(20212013021300120321223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)信源符号的自信息量为I (a i )=-log 2p (a i )，故0,1,2,3的自信息量分别为1.415、 2、 2、 3。

消息序列中0，1，2，3的数目分别为14，13，12，6，故此消息的自信息量为1.415*14+2*13+2*12+3*6=87.81比特， (2)87.81/45=1.951比特。

2.6 设信源()1234560.20.190.180.170.160.17X a a a a a a P X ⎛⎫⎧⎫=⎨⎬⎪⎩⎭⎝⎭，求这信源的熵，并解释为什么()log6H X >不满足信源熵的极值性。

提示：信源的概率之和大于1。

2.7 同时掷两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量；(3) 两个点数的各种组合(无序对)的熵或平均信息量； (4) 两个点数之和(即2,312 构成的子集)的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1) 4.17(比特/符号)，提示：3和5同时出现的概率为26161⨯⨯=1/18(2) 5.17(比特/符号)，提示：两个1同时出现的概率1/36 (3) “两个点数相同”的概率:1/36,共有6种情况;“两个点数不同”的概率:1/18,共有15种情况.故平均信息量为:2261151log log 36361818--=4.337比特/符号 (4) 3.274(比特/符号)。

提示：信源模型23456789101112551111111113618129366369121836⎧⎫⎪⎪⎨⎬⎪⎪⎩⎭(5) 1.711(比特/符号)。

提示：至少有一个1出现的概率为361161616161=⨯-+2.8 证明()12n H X X X ≤()()()12n H X H X H X +++ 提示： 由教材式(2.1.26)和(2.1.28)可证 证明：()121212312211221()()(),()()()()()()()()()()()()()()()()()()()n n n n n n n n n H XY H X H Y X H Y X H Y H XY H X H Y H X X X H X H X X H X H X H X X H X H X H X H X X H X H X H X H X H X ----=+≤∴≤+∴≤+≤++≤≤++++≤+++++2.4 证明()312H X X X ≤()31H X X ，并说明等式成立的条件。

提示：见教材第38页2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。

解：设X 、Y 、Z 分别表示{忙 闲}、{晴 雨}和{冷 暖}，(1)先求忙闲的概率分布⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡1034010363)(闲忙X P X ，无条件熵2263634040()log log 103103103103H X =--=0.9637(比特/符号) (2)()XYZ P XYZ ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦忙晴冷忙晴暖忙雨冷忙雨暖闲晴冷闲晴暖闲雨冷闲雨暖1282716815512103103103103103103103103H (XYZ )=2.8357 20232832()103103103103YZ P YZ ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦晴冷晴暖雨暖雨冷，H (YZ )=1.9769 ()H X YZ = H (XYZ )- H (YZ )=0.8588(比特/符号)(3) I (X;YZ )=H (X )-H (X /YZ )=0.1049比特/符号2.11 有两个二元随机变量X Y 和，它们的联合概率为X Y 0 1 0 11/8 3/8 3/8 1/8并定义另一随机变量XY Z =(一般乘积)。

试计算： (1) (),(),(),(),()()H X H Y H Z H XZ H YZ H XYZ 和；(2) (),(),(),(),(),(),(),H X Y H Y X H X Z H Z X H Y Z H Z Y H X YZ()H Y XZ 和()H Z XY ；(3) ()()()()()();,;,;,;,;;I X Y I X Z I Y Z I X Y Z I Y Z X I X Z Y 和。

解： (1) XY 的概率分布为00011011()1/83/83/81/8XY P XY ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦222211333311()log log log log 1.811388888888H XY =----=比特/符号X 的概率分布01()1/21/2X P X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦， 221111()log log 12222H X =--=比特/符号X 的概率分布01()1/21/2Y P Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦， H (Y )=1比特/符号Z=XY 的概率分布⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818710)(Z P Z ， 227711()log log 0.54368888H Z =+=比特/符号 XZ 的联合概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/302/111100100)(XZ P XZ ， H (XZ )=1.4056比特/符号YZ 的联合概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/302/111100100)(YZ P YZ ， H (YZ )=1.4056比特/符号XYZ 的联合概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/1008/308/308/1111110101100011010001000)(XYZ P XYZ ， H(XYZ)=1.8113比特/符号(2) H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113比特/符号； H(Y/X)=H(XY)-H(X)=1.8113-1=0.8113比特/符号H(X/Z)=H(XZ)-H(Z)=1.4056-0.5436=0.862比特/符号； H(Z/X)=H(XZ)-H(X)=1.4056-1=0.4056比特/符号； H(Y/Z)=H(YZ)-H(Z)=1.4056-0.5436=0.862比特/符号； H(Z/Y)=H(YZ)-H(Y)=1.4056-1=0.4056比特/符号；H(X/YZ)=H(XYZ)-H(YZ)=1.8113-1.4056=0.4057比特/符号； H(Y/XZ)=H(XYZ)-H(XZ)= 1.8113-1.4056=0.4057比特/符号； H(Z/XY)= H(XYZ)-H(XY)=1,8113-1.8113=0比特/符号；(3) I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887比特/符号；or I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1.8113=0.1887比特/符号； I(X;Z)= H(X)-H(X/Z)=1-0.862=0.138比特/符号；or I(X;Z)=H(X)+H(Z)-H(XZ)=1+0.5436-1.4056=0.138比特/符号； I(Y;Z)= H(Y)-H(Y/Z)= 0.138比特/符号；or I(Y;Z)=H(Y)+H(Z)-H(YZ)= 1+0.5436-1.4056=0.138比特/符号；I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.4563比特/符号； I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.4056比特/符号； I(X;Z/Y)=H(Z/Y)-H(Z/XY)=0.4056比特/符号；2.13 设有一个信源，它产生0,1序列的信息。

它在任意时间而且不论以前发生过什么符号，均按()()00.4,10.6p p ==的概率发出符号。

(1) 试问这个信源是否是平稳的？(2) 试计算()()()2312,lim N H X H X X X H X →∞及； (3) 试计算()4H X 并写出4X 信源中可能有的所有符号。

解：(1) 是平稳信源(2) 信源熵H(X)=-0.4log 20.4-0.6log 20.6=0.971比特/信源符号，2()2() 1.942H X H X ==比特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。

(3)884.3971.04)(4=⨯=X H 比特/信源符号，4X 信源中可能的符号共16个。

2.14设12,,,NX X X X = 是平稳离散有记忆信源，试证明：()12N H X X X = 1()H X +()()()21321121N N H X X H X X X H X X X X -+++ 。

提示：见教材第44页证明：因为()()()H XY H X H Y X =+，故()1212112112211221211211221211211122121()()()()()()()()()()()()N N N N N N N N N N N N N N N N N H X X X H X X X H X X X X H X X X H X X X X H X X X X H X X H X X X X H X X X X H X H X X H X X X X H X X X X ------------=+=++==+++=++++2.16 一阶马尔可夫信源的状态图如题2.16图所示。

合集下载

信息论试卷含答案资料讲解

信息论试卷含答案资料讲解

《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。

三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。

《信息论与编码》习题解答-第二章

《信息论与编码》习题解答-第二章

《信息论与编码》习题解答第二章 信源熵-习题答案2-1解：转移概率矩阵为：P(j/i)=，状态图为：⎪⎩⎪⎨⎧==∑∑j jj ij ii W W P W 1，⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=++=+=++=1323221313121321233123211W W W W W W W W W W W W 解方程组求得W=2-2求平稳概率符号条件概率状态转移概率解方程组得到 W=2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解： (1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P Xii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-4(4)2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

《信息论》部分作业详解

《信息论》部分作业详解

第2章 信源熵2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。

2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？ 解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？答案：1.415比特/符号。

提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p22log (/)log 3/8 1.415p A C -=-=2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(20212013021300120321223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)信源符号的自信息量为I (a i )=-log 2p (a i )，故0,1,2,3的自信息量分别为1.415、 2、 2、 3。

消息序列中0，1，2，3的数目分别为14，13，12，6，故此消息的自信息量为1.415*14+2*13+2*12+3*6=87.81比特， (2)87.81/45=1.951比特。

2.6 设信源()1234560.20.190.180.170.160.17X a a a a a a P X ⎛⎫⎧⎫=⎨⎬⎪⎩⎭⎝⎭，求这信源的熵，并解释为什么()log6H X >不满足信源熵的极值性。

信息论作业答案

信息论作业答案

信息论作业答案第二章1 ■一阶齐次马尔柯夫信源消息集X ∈{321,,a a a }，状态集S ∈{321,,S S S }。

且令3,2,1,==i a S i i , 符号条件转移概率为[]=21414141214113131)/(i j S a P(1) 画出该信源的状态转移图；(2)解：（1）[]111333111424111442(|)jip SS =??（2）1111231344111123232411112333421231w w w w w w w w w w w w w w w ++=??++=??++=??++=?311142114311w w w =??=??=?H(X|S 1)=H (1/3,1/3,1/3)=1.58bit/符号H(X|S 2)=H (1/4,1/2,1/4)=1.5bit/符号= H(X|S 3)33411111()(|) 1.58 1.52 1.52i i i H X w H X S ∞===?+??=∑bit/符号2 如果你确定你的朋友是6月的生日，但是不知道具体是哪一天。

那么你问你的朋友“你的生日是6月哪一天?”，则答案中含有的信息量为4.91bit ；3p42 2-12 4 p42 2-13 5 p43 2-19 6 p44 2-29第三章1. ■设信道的转移概率矩阵为P ＝0.90.10.10.9??（1）若p(x 0)=0.4，p(x 1)=0.6，求H(X ），H(Y ），H(Y|X ）和I(X ；Y ）；（2）求该信道的信道容量及其达到信道容量时输入符号的概率分布。

（3）设该信道以1800个二元符号/秒的速度传输输入符号。

现有一消息序列共有10000个二元符号，在p(x 0)=1/2，p(x 1)=1/2情况下，从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：(1)[]0.360.04(,)0.060.54p x y ??=?, [p(y)]=[0.42 0.58] H(X)(0.4,0.6)0.97H ==bit/符号H(Y)(0.42,0.58)0.98H ==bit/符号 H(Y|X)(0.9,0.1)0.47H ==bit/符号I(X;Y)= H(Y)－H(Y|X)=0.51bit/符号(2)C=1－H(ε)=1－H(Y|X)=0.53bit/符号 p 0=p 1=0.5（3）H(X)×104＝104 bit1800×C ×10＝9540 bit < 104 所以不能无失真传送完。