信息论复习题2

36第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、 噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？ 计算方法？ 冗余度？具有概率为p （x ）的符号x 自信息量：I （X ）- -iogp （x ） 条件自信息量：|（X i= —log p （X i y i ）平均自信息量、平均不确定度、信源熵：H （X ）二-為p （x ）log p （x ）iH (XY )=送 p (X i ,y j )|(X i y j ) 一瓦ijij联合熵： H (XY )=：Z p (X i ,y j )I(X i ,y j ^Z p (X i ,y j )log p (X i ,y j)ijij互信息： 弋pyx)亍 pyx) l(X;Y)=W p(X i , y .)log=S p(X i )p(y . X i )log j 入儿p(y j )j 入儿入p(y j )熵的基本性质：非负性、对称性、确定性2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求:（1） “3和5同时出现”这事件的自信息； （2） “两个1同时出现”这事件的自信息；（3） 两个点数的各种组合（无序）对的熵和平均信息量； （4） 两个点数之和（即2, 3, , , 12构成的子集）的熵； （5） 两个点数中至少有一个是1的自信息量。

解: （1）I (xj =-log p(xj 工「log 丄 4.170 bit181l(xj - - log p(xj - - log 5.170 bit条件熵: p (X i ,y j )lo gp (X i y j )p(X i )11116 6 6 61 181 p(x"61 36(1 1 11、 H(X)=—E p(X j )log p(xj = — 6汉 一log — +15 汉一log — 丨=4.337 bit/symbol i< 36 36 18 18 丿(4)两个点数求和的概率分布如下：X234 5 6 7 8 9 10 11 12\=V1 115 15 11 1 1P(X)広 18 12 9 36 6 36 9 12 18 36 H(X) =p(X i )log p(X i )i(1 1 11 1 1 1 1 5511)=_2汉 log +2 乂 log+2 工 log +2乂 log +2 工 log + log< 36 36 181812 12 9 936 36 6 6 J= 3.274 bit / symbol(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}11 l(x 」--log p(x 」-- log 1.71036X x 1 = 0 x 2 = 1 x 3 = 2 x 4 = 32.7设有一离散无记忆信源，其概率空间为=f 丿 <3/8 1/41/4 1/8 丿(1 )求每个符号的自信息量 (2)信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321010 021032 011 223210}，求该序列的自信息量和平均每个符号携带的信息量18I (x 1) = log 2log 21.415bit p(x 1)3同理可以求得 1(x2)二 2bit, I (x3) = 2bit, I (x4) = 3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就I =141(X 1) 131(X 2) 121(X 3) 61(X 4)=87.81bit11 12 13 14 1516 21 22 23 24 2526 31 32 33 34 3536 41 42 43 44 4546 51 52 53 54 5556 616263646566共有21种组合：其中11，22,33， 44,55, 66的概率是 1 1 X —6 6 ⑶两个点数的排列如下:1 1 1其他15个组合的概率是2 ——二—6 6 181 36p(X i )— 11 6 6 11 36bit解:2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解：四进制脉冲可以表示 4个不同的消息，例如 八进制脉冲可以表示 8个不同的消息，例如 二进制脉冲可以表示 2个不同的消息，例如 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量 H (XJ = log n = Iog4 = 2 bit/symbol 八进制脉冲的平均信息量 H (X 2) = log n = Iog8 = 3 bit/symbol 二进制脉冲的平均信息量 H (X 0) = log n = log2 = 1 bit/symbol所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2倍和3倍。

篇一：信息论与编码期末题(全套)〔一〕7、某二元信源一、判断题共 10 小题，总分值 20 分.1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). 〔〕2. 由于构成同一空间的基底不是唯一的，所以不同的基1X0P(X)1/21/2，其失真矩阵0a，那么该信源的Dmax= Da0三、此题共 4 小题，总分值 50 分.1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端底或生成矩阵有可能生成同一码集.符号 y( j 1 ,2) ，转移概率矩阵为有3 种,3〔〕3.一般情况下，用变长编码得到的平均码长比定长编码大得多. 〔〕4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信〔〕 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 〔〕 6. 连续信源和离散信源的熵都具有非负性. 〔〕7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 〔〕 9. 率失真函数的最小值是0. 〔〕10.必然事件和不可能事件的自信息量都是0. 〔〕二、填空题共 6 小题，总分值 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是的目的是 .3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 .4、香农信息论中的三大极限定理是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么I(XN,YN)NI(X,Y)成立的条件6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . iP1/21/201/21/41/4.〔1〕计算接收端的平均不确定度H(Y)；〔2〕计算由于噪声产生的不确定度H(Y|X)；〔3〕计算信道容量以及最正确入口分布. 2、一阶马尔可夫信源的状态转移图2-13图如右图所示，信源X的符号集为{0,1,2}. 〔1〕求信源平稳后的概率分布；〔2〕求此信源的熵；〔 3 〕近似地认为此信源为无记忆时，符号的概率分布为平 X )稳分布.求近似信源的熵H(并与H进行比拟.4 、设二元( 7 , 4 ) 线〔1〕给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；)，试计算出其对应的伴随式S并按照最小距离译码准那么试着对其译码. 〔二〕一、填空题〔共15分，每空1分〕1、信源编码的主要目的是，信道编码的主要目的是。

信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。

（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。

（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。

（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。

（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。

（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。

（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。

（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。

（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。

（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。

（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。

（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。

（√）7、互信息的统计平均为平均互信息量，都具有非负性。

（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。

（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。

（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。

（×）11、在信息处理过程中，熵是不会增加的。

（√）12、熵函数是严格上凸的。

（√）13、信道疑义度永远是非负的。

（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。

【】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：〔1〕接收到第一个数字0与M1之间的互信息；〔2〕接收到第二个数字也是0时，得到多少关于M1的附加互信息；〔3〕接收到第三个数字仍为0时，又增加了多少关于M1的互信息；〔4〕接收到第四个数字还是0时，再增加了多少关于M1的互信息。

解：各个符号的先验概率均为1/8(1)根据条件，有因此接收到第一个数字0与M1之间的互信息为：〔2〕根据条件，有因此接收到第二个数字也是0时，得到多少关于M1的互信息为：得到的附加信息为：〔3〕根据条件，有因此接收到第三个数字也是0时，得到多少关于M1的互信息为：此时得到的附加信息为：〔4〕根据条件，有因此接收到第四个符号为0时，得到的关于M1的互信息为此时得到的附加信息为【】设二元对称信道的传递矩阵为〔1〕假设P(0)=3/4，P(1)=1/4，求H(X )，H(X | Y )，H(Y | X )和I (X;Y)；〔2〕求该信道的信道容量及其到达信道容量时的输入概率分布。

解：〔1〕根据条件，有【】假设X 、Y 和Z 是三个随机变量，试证明：〔1〕I (X;YZ) = I(X;Y) + I(X;Z | Y) = I (X;Z) + I (X;Y | Z) 〔2〕I (X;Y | Z) = I (Y; X | Z) = H(X | Z) - H(X | YZ) 〔3〕I (X;Y | Z) ³0当且仅当(X, Z,Y)是马氏链时等式成立。

(3)【】求以下两个信道的信道容量，并加以比拟因此有【】在图片传输中，每帧约个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。

试计算每秒钟传送30帧图片所需信道的带宽〔信噪功率比为30dB〕。