应用信息论基础期末复习(2011)

《信息论基础》试卷（期末）（B卷）重庆邮电⼤学2007/2008学年2学期《信息论基础》试卷（期末）（B 卷）（半开卷）⼀、填空题（共20分，每空1分）1、通信系统中，编码的主要⽬的有两个，分别是和。

2、离散⽆记忆信源存在剩余度的原因是。

3、当时，信源熵为最⼤值。

⼋进制信源的最⼤熵为，最⼩熵为。

4、⽆失真信源编码的平均码长最⼩理论极限制为。

5、⼀个事件发⽣概率为0.125，则⾃相关量为。

6、根据信原输出随机序列中随机变量前后之间有⽆统计依赖性，信原可以分为和。

7、噪声瞬时值的概率密度函数服从分布，同时功率谱密度为的噪声称为⾼斯⽩噪声。

8、当时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是⾼斯分布或正态分布或时，信源具有最⼤熵，其值为值。

9、在下⾯空格中选择填⼊数学符号“,,,=≥≤>”或“?” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)（2）假设信道输⼊⽤X 表⽰，信道输出⽤Y 表⽰。

在有噪⽆损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。

⼆、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

三、（16分）已知信源12345S P 0.250.20.20.20.15s s s s s =（1）⽤霍夫曼编码法编成⼆进制变长码；（4分）（2）计算平均码长—L ；（4分）（3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分）（5）计算编码效率η。

（2分）四、（12分）已知⼀个平均功率受限的连续信号，通过带宽W 10MHz =的⾼斯⽩噪声信道，试计算（1）若信噪⽐为10，信道容量为多少？（4分）（2）若信道容量不变，信噪⽐降为5，信道带宽为多少？（4分）（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率⽐值应等于多少？（4分）五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======（1）画出状态转移图（4分）（2）计算稳态概率（4分）（3）计算信源的极限熵（4分）（4）计算稳态下H1，H2及其对应的剩余度。

试题编号：重庆邮电大学2008/2009学年2学期《信息论基础》试卷（期末）（B卷）（开卷）一、填空题（共25分，每空1分）1、连续信源的绝对熵为。

2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到。

3、无记忆信源是指。

4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率大的符号用码，对概率小的符号用码，这样平均码长就可以降低，从而提高。

5、为了提高系统的有效性可以采用，为了提高系统的可靠性可以采用。

6、八进制信源的最小熵为，最大熵为。

《信息论基础》试卷第1页7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为时，信源具有最大熵，其值为。

8、即时码是指。

9、无失真信源编码定理指出平均码长的理论极限值为，此时编码效率为，编码后的信息传输率为。

10、一个事件发生概率为0.125，则自信息量为。

11、信源的剩余度主要来自两个方面，一是，二是。

12、m阶马尔可夫信源的记忆长度为，信源可以有个不同的状态。

13、同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为比特，当得知“面朝上点数之和为8”所获得的信息量为比特。

14、在下面空格中选择填入数学符号“=，≥，≤，>”或“<”()+()()XHYH+。

H|YXYHH()()YX《信息论基础》试卷第2页二、（5分）已知信源的概率密度函数为1()a xb p x b a⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。

三、（10分）一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。

（1）已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。

（2）如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？（3）如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？《信息论基础》试卷第3页《信息论基础》试卷第4页四、（16分）一个离散无记忆信源123456()1/81/81/81/81/41/4X x x x x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1) 求()H X 和冗余度；2) 编成Fano 码，计算编码效率； 3) 编成Huffman 码，计算编码效率《信息论基础》试卷第5页五、（１6分）设一个离散无记忆信源的概率空间为它们通过干扰信道，信道输出端的接收符号集为[]21,b b Y =，已知信道传输概率如下图所示。

统一模块：信息科技基础（40％）一、信息与信息技术1、信息的基本知识★★信息的概念和特征●人类社会的三大资源：信息、物质和能源●信息的主要特征：传载性、共享性、可处理性、时效性等。

★常见的信息技术（IT）●信息技术四大基本技术：感测技术、通信技术、计算技术、控制技术。

●信息技术（处理）工具：录音机、照相机、摄像机、计算机等。

★信息的处理过程信息处理的一般过程是指收集、存储、加工、表达、传输信息的过程。

★信息科技的发展及影响●信息技术的发展历史悠久，一般意义上说的信息技术在远古时代就有了。

●人类经历的5次信息技术革命：①语言的产生与应用②文字的创造和使用③造纸术和印刷术的发明④电报、电话、广播、电视的发明和普及⑤计算机与现代通信技术的应用。

现代意义上的信息技术，正是在电信革命之后才产生和发展起来的。

2、信息与数字化★信息的数字化●信息编码是指为了方便信息的存储、检索和使用规定的符号系统。

（例如身份证号码、邮政编码、商品条形码等）●数字化是计算机处理信息的基础。

数字、文字、图像和语音以及可视世界的各种信息等，实际上都可以通过采样和量化，用二进制序列来表示。

数字化后的信息也可以通过转换，还原出原来的信息。

●计算机中信息的编码是指：各种形式的数据按一定法则转换成二进制码。

●0和1被称为一个位（bit）,简写b，8个位（bit）组成一个字节（Byte），简写B。

●8位二进制可以组合成28=256种状态，n位二进制可能够表示2n个不同的编码。

★★★数制及数制之间的转换●进位计数制是按进位方式实现计数的一种规则。

一种进位计数制包含：数码、基数、位权三个因素。

●不同的进位制常用特定的字母标于末尾来标识：二进制B；十进制D；十六进制H。

●熟练掌握：二进制、十进制数和十六进制数之间的相互换算。

★★★字符的编码●ASCII码的作用：使英文字母、阿拉伯数字等符号可以被转换成计算机能识别的二进制数。

（编码顺序：标点符号<数字<大写字母<小写字母）●ASCII码是用7位二进制数来表示一个字符，共有128个编码。

超有⽤!!2011学年信息科学与技术导论复习提纲⼀．电磁波与⽆线电1. 电磁波的频率分段范围及其信号传送媒介甚低频（VLF）3～30千赫（KHz）甚长波100～10km低频（LF）30～300千赫（KHz）长波10～1km中频（MF）300～3000千赫（KHz）中波1000～100m⾼频（HF）3～30兆赫（MHz）短波100～10m甚⾼频（VHF）30～300兆赫（MHz）⽶波10～1m特⾼频（UHF）300～3000兆赫（MHz）分⽶波微波100～10cm超⾼频（SHF）3～30吉赫（GHz）厘⽶波10～1cm极⾼频（EHF）30～300吉赫（GHz）毫⽶波10～1mm⾄⾼频300～3000吉赫（GHz）丝⽶波1～0.1mm2. 天线的概念及其必须解决的三个问题指能够进⾏能量转换即有效地辐射和接收电磁波的装置。

1、提⾼辐射功率或信噪⽐，天线作为传输线的负载应做好匹配。

2、应具有向所需⽅向辐射电磁波的能⼒。

3、同⼀系统中，收、发天线应有相同的极化形式。

3. 你认识哪些天线？⼋⽊天线移动定向天线微波中继天线抛物⾯天线MMDS-C型微波天线全向天线⼆．集成电路1.什么是集成电路？在我们的本科教学计划中与其相关的课程主要有哪些？集成电路（integrated circuit）是通过⼀系列特定的加⼯⼯艺，将晶体三极管、⼆极管等有源器件和电阻、电容等⽆源器件，按照设计的电路互连，“集成”在⼀块半导体单晶⽚上后，封装在外壳内的电路组件单元；通过引脚线完成集成电路芯⽚与外部的连接。

⼤学物理⾼等数学模拟电路实验⼯程数学程序设计单⽚机原理及其应⽤线性代数数字电路与逻辑设计2.⼀般的集成电路设计流程Sys.specification-> Function design-> Logic design-> Circuit design-> Physical design-> verification-> tape out系统规划---------------程序设计----------逻辑综合-------电路设计--------布局和布线----- 验证--------转交设计三．计算机科学与技术1. 计算机有哪些硬件组成？其结构⽰意图硬件部分主要由运算器、控制器、存储器、输⼊部分和输出部分组成2. 操作系统有什么作⽤和功能，⽬前常⽤的有哪些操作系统？操作系统层通常是最靠近硬件的软件层，对计算机硬件作⾸次扩充和改造，主要完成资源的调度和分配，信息的存取和保护，并发活动的协调和控制等许多⼯作。

书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。

2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。

奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。

因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。

香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。

香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。

4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。

6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。

反之，若R>C,则传输总要产生失真。

又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。

故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。

8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。

三个基本概念：信源熵、信道容量和信息率失真函数。

9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。

通常通过压缩信源的沉余度来实现。

安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。

2、香农信息的定义 。

3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。

4、通信系统模型主要分成五个部分分别为： 。

5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。

6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。

7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。

信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。

8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。

信道剩余度定义为 。

9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。

10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。

11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。

12、多项式剩余类环[]())q F x f x 是域的充要条件为 。

13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。

14、有限域122F 的全部子域为 。

15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。

大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。

2、香农信息的定义 。

3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。

4、通信系统模型主要分成五个部分分别为： 。

5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。

6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。

7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。

信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。

8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。

信道剩余度定义为 。

9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。

10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。

11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。

12、多项式剩余类环[](())q F x f x 是域的充要条件为 。

13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。

14、有限域122F 的全部子域为 。

15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。

朱雪龙《应用信息论基础》习题答案互信息凸性互信息函数),(Q P I 的性质2的证明。

对于确定的条件概率矩阵Q 互信息函数),(Q P I 是概率矢量空间S 上的上凸函数。

（其中S ={P ：P =（1p , 2p …, K p ）, ,,...2,1,10K k p k =≤≤而∑==Kk k p 11}）证明：首先由定义知：),(Y X I =)(Y H -)(X Y H其中)(Y H =∑=-Jj j j b p b p 1)(log )(=∑∑∑===-J j k j Kk k j k K k a b p a p b a p 111)()(log),(=∑∑∑===-Jj k j Kk k k j k Kk a b p a p a b p a p 111)()(log)()()(X Y H =∑==-Jj k j j k Kk a b p b a p 11)/(log ),(=∑∑==-Jj k j k j k Kk a b p a b p a p 11)/(log )()(可知对于确定的Q ，)(Y H 和)(X Y H 都是S 上的函数，且)(X Y H 关于P 是线性的。

下面将证明)(Y H 是S 上的上凸函数。

即对?1P ),...,,(11211K p p p =，2P ),...,,(22221K p p p =∈S ，及λ，λ，.1,10λλλ-=≤≤ 成立∑∑∑===++-Jj k j k k k k Kk k j k k k j k kKk a b p a p a p a b p a p a b p a p1211211)()]()([log)]/()()()([λλλλ≥∑∑∑===-Jj k j Kk k k k j k k Kk a b p a p a b p a p 11111)()(log)()(λ∑∑∑===-Jj k j Kk k k k j k k Kk a b p a p a b p a p 11221)()(log)()(λ （1）事实上，首先看不等式左边：∑∑∑===++-j k j k k k k Kk k j k k k j k kKk a b p a p a p a b p a p a b p a p 1211211)()]()([log)]/()()()([λλλλ==++-∑∑∑===Jj k j k k k j k k Kk j k k j k kKk a b p a p a b p a p b a p b a p 1211211)]()()()([log)],(),([λλλλ=∑=++-Jj j j j j j j j jb p b p b p b p12121)]()(log[)]()([λλλλ （2）而不等式右边：∑∑===-Jj k j Kk k k k j k k Kk a b p a p a b p a p 11111)()(log)()(λ-∑∑∑===-J j k j Kk k k k j k k K k a b p a p a b p a p 11221)()(log)()(λ=)(log )()(log )(212111j j Jj j j J j j j j j b p b p b p b p ∑∑==--=λλ （3）因为)(Y H 关于Y 的分布是上凸函数，则成立下面不等式：∑=++-Jj j j j j j j j jb p b p b p b p12121)]()(log[)]()([λλλλ)(log )()(log )(212111j j Jj j j Jj j j j j b p b p b p b p ∑∑==--≥λλ所以，综合（2），（3）式，（1）式成立。

朱雪龙《应用信息论基础》习题答案第二章习题参考答案2.2证明:l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit2) H(X|Y)2= bit H(Y|X)=2-bit , H(X|Z)= 3 2 —bit33) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit2.4证明：（1）根据熵的可加性，可直接得到,a k 1), H(Y) log(k 1),故原式得证2.5考虑如下系统:又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit1不妨设 P(Z=0) = P(Z=1)=2设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p1~[ Plogp + (1 — p)log (1 — p)]-[qlogq + (1 — q)log(1 — q)] =11满足上式的p 、q 可取：p =; q =2.1 In2 xnatIOg 2bi tP(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q ⑵ Y 的值取自（31,32,假设输入X 、Y 是相互独立的，则满足 I(X;Y) = 0 则 H(X|Z)=满足条件的一个联合分布：11 P(X=0, Y=0, Z=0)=4 P(X=1, Y=1, Z=0)=411 P(X=1, Y=1, Z=0)= 4P(X=1, Y=0, Z=1)=42.6 解：1 给出均匀分布p(x)—a x b 其中b a1,则 h(X) 0b a2.7 证明：l(X;Y;Z) = l(X;Y) — l(X;Y|Z)=I(X;Z) — I(X;Z|Y)/ A, B 处理器独立，l(X;Z|Y) = 0l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立11 2.8 N=2 时， P(0 0) =, P(1 1)=—，其它为 022l( X ! ;X 2) = 1 bit N 工2时，l(X k1;X k |X 1 …X k 2) (3 W k)=P(X 「??X k 2中有奇数个1) l(X k1;X k |X 「??X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)1P(X 1…X k 2中有奇数个1)=-2 1P(X 1…X k 2中有偶数个1)=-2P(X k 1=1|X 1 - X k 2中有奇数个1P(X k1=0|X 1…X k 2中有奇数个1)=-2 1P(X k =1|X 1 - X k 2 中有奇数个 1)=-2 1P(X k =0|X 1…X k 2中有奇数个1)=-2 1P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-+ P(X 1 - X k 2中有偶数个 1)=1(注意，这里k W N — 1)1 P(X k 1=0|X1- X k 2中有偶数个1)=-2P（X k=1|X「?X k2中有偶数个1）= （注意，这里k w N-1P（X k=O|X i…X k 2中有偶数个1）=-21P（X k 1=0, X k=0|X1- X k 2中有奇数个1）=—41P（X k 1=0, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=1, X k=0|X1- X k 2中有奇数个1）=-41P（X k 1=1, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=0, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k1=O, X k=1|X1- X k 2中有偶数个1）=-41P（X k 1=1, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k 1=1, X k=1|X1- X k 2中有偶数个1）=-4综上：l（X k1；X k|X1 ...X k 2 中有奇数个1）（3w k w N -1）奇数个1）=H（X k 1|X1...X k 2中有奇数个1） + H（X k |X1 (X)k 2中有-H（X k 1；XJX1…X k 2中有奇数个1）=0l（X k1；X k|X1…X k 2中有偶数个1） = 0当 3 w k w N- 1 时，l（X k1；X k|X1 …X k 2） = 0当k = N时即l（X N 1 ；X N | X1 X N 2）=H（X N 1 |X 1 X N 2 ）—H（X N 1 |X 1 X N 2 ,X N ） =1 bit2.91）实例如2.5题2）考虑随机变量X=Y=Z的情况1取P（X=0, Y=0, Z=0）=- P（X=1, Y=1, Z=1）= 则l（X;Y|Z）= 0I（X;Y） = 1 满足I（X;Y|Z）V I（X;Y）。