下载文档原格式
《信息论基础》试卷（期末）（B卷）重庆邮电⼤学2007/2008学年2学期《信息论基础》试卷（期末）（B 卷）（半开卷）⼀、填空题（共20分，每空1分）1、通信系统中，编码的主要⽬的有两个，分别是和。
2、离散⽆记忆信源存在剩余度的原因是。
3、当时，信源熵为最⼤值。
⼋进制信源的最⼤熵为，最⼩熵为。
4、⽆失真信源编码的平均码长最⼩理论极限制为。
5、⼀个事件发⽣概率为0.125，则⾃相关量为。
6、根据信原输出随机序列中随机变量前后之间有⽆统计依赖性，信原可以分为和。
7、噪声瞬时值的概率密度函数服从分布，同时功率谱密度为的噪声称为⾼斯⽩噪声。
8、当时，信源与信道达到匹配。
9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是⾼斯分布或正态分布或时，信源具有最⼤熵，其值为值。
9、在下⾯空格中选择填⼊数学符号“,,,=≥≤>”或“?” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)（2）假设信道输⼊⽤X 表⽰，信道输出⽤Y 表⽰。
在有噪⽆损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。
⼆、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
三、（16分）已知信源12345S P 0.250.20.20.20.15s s s s s =（1）⽤霍夫曼编码法编成⼆进制变长码；（4分）（2）计算平均码长—L ；（4分）（3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分）（5）计算编码效率η。
（2分）四、（12分）已知⼀个平均功率受限的连续信号，通过带宽W 10MHz =的⾼斯⽩噪声信道，试计算（1）若信噪⽐为10，信道容量为多少？（4分）（2）若信道容量不变，信噪⽐降为5，信道带宽为多少？（4分）（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率⽐值应等于多少？（4分）五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======（1）画出状态转移图（4分）（2）计算稳态概率（4分）（3）计算信源的极限熵（4分）（4）计算稳态下H1，H2及其对应的剩余度。
试题编号：重庆邮电大学2008/2009学年2学期《信息论基础》试卷（期末）（B卷）（开卷）一、填空题（共25分，每空1分）1、连续信源的绝对熵为。
2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到。
3、无记忆信源是指。
4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用码，对概率小的符号用码，这样平均码长就可以降低，从而提高。
5、为了提高系统的有效性可以采用，为了提高系统的可靠性可以采用。
6、八进制信源的最小熵为，最大熵为。
《信息论基础》试卷第1页7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为时，信源具有最大熵，其值为。
8、即时码是指。
9、无失真信源编码定理指出平均码长的理论极限值为，此时编码效率为，编码后的信息传输率为。
10、一个事件发生概率为0.125，则自信息量为。
11、信源的剩余度主要来自两个方面，一是，二是。
12、m阶马尔可夫信源的记忆长度为，信源可以有个不同的状态。
13、同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为比特，当得知“面朝上点数之和为8”所获得的信息量为比特。
14、在下面空格中选择填入数学符号“=，≥，≤，>”或“<”()+()()XHYH+。
H|YXYHH()()YX《信息论基础》试卷第2页二、（5分）已知信源的概率密度函数为1()a xb p x b a⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。
三、（10分）一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。
（1）已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。
（2）如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？（3）如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？《信息论基础》试卷第3页《信息论基础》试卷第4页四、（16分）一个离散无记忆信源123456()1/81/81/81/81/41/4X x x x x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1) 求()H X 和冗余度；2) 编成Fano 码，计算编码效率； 3) 编成Huffman 码，计算编码效率《信息论基础》试卷第5页五、（１6分）设一个离散无记忆信源的概率空间为它们通过干扰信道，信道输出端的接收符号集为[]21,b b Y =，已知信道传输概率如下图所示。
统一模块：信息科技基础（40％）一、信息与信息技术1、信息的基本知识★★信息的概念和特征●人类社会的三大资源：信息、物质和能源●信息的主要特征：传载性、共享性、可处理性、时效性等。
★常见的信息技术（IT）●信息技术四大基本技术：感测技术、通信技术、计算技术、控制技术。
●信息技术（处理）工具：录音机、照相机、摄像机、计算机等。
★信息的处理过程信息处理的一般过程是指收集、存储、加工、表达、传输信息的过程。
★信息科技的发展及影响●信息技术的发展历史悠久，一般意义上说的信息技术在远古时代就有了。
●人类经历的5次信息技术革命：①语言的产生与应用②文字的创造和使用③造纸术和印刷术的发明④电报、电话、广播、电视的发明和普及⑤计算机与现代通信技术的应用。
现代意义上的信息技术，正是在电信革命之后才产生和发展起来的。
2、信息与数字化★信息的数字化●信息编码是指为了方便信息的存储、检索和使用规定的符号系统。
（例如身份证号码、邮政编码、商品条形码等）●数字化是计算机处理信息的基础。
数字、文字、图像和语音以及可视世界的各种信息等，实际上都可以通过采样和量化，用二进制序列来表示。
数字化后的信息也可以通过转换，还原出原来的信息。
●计算机中信息的编码是指：各种形式的数据按一定法则转换成二进制码。
●0和1被称为一个位（bit）,简写b，8个位（bit）组成一个字节（Byte），简写B。
●8位二进制可以组合成28=256种状态，n位二进制可能够表示2n个不同的编码。
★★★数制及数制之间的转换●进位计数制是按进位方式实现计数的一种规则。
一种进位计数制包含：数码、基数、位权三个因素。
●不同的进位制常用特定的字母标于末尾来标识：二进制B；十进制D；十六进制H。
●熟练掌握：二进制、十进制数和十六进制数之间的相互换算。
★★★字符的编码●ASCII码的作用：使英文字母、阿拉伯数字等符号可以被转换成计算机能识别的二进制数。
（编码顺序：标点符号<数字<大写字母<小写字母）●ASCII码是用7位二进制数来表示一个字符，共有128个编码。
超有⽤!!2011学年信息科学与技术导论复习提纲⼀．电磁波与⽆线电1. 电磁波的频率分段范围及其信号传送媒介甚低频（VLF）3～30千赫（KHz）甚长波100～10km低频（LF）30～300千赫（KHz）长波10～1km中频（MF）300～3000千赫（KHz）中波1000～100m⾼频（HF）3～30兆赫（MHz）短波100～10m甚⾼频（VHF）30～300兆赫（MHz）⽶波10～1m特⾼频（UHF）300～3000兆赫（MHz）分⽶波微波100～10cm超⾼频（SHF）3～30吉赫（GHz）厘⽶波10～1cm极⾼频（EHF）30～300吉赫（GHz）毫⽶波10～1mm⾄⾼频300～3000吉赫（GHz）丝⽶波1～0.1mm2. 天线的概念及其必须解决的三个问题指能够进⾏能量转换即有效地辐射和接收电磁波的装置。
1、提⾼辐射功率或信噪⽐，天线作为传输线的负载应做好匹配。
2、应具有向所需⽅向辐射电磁波的能⼒。
3、同⼀系统中，收、发天线应有相同的极化形式。
3. 你认识哪些天线？⼋⽊天线移动定向天线微波中继天线抛物⾯天线MMDS-C型微波天线全向天线⼆．集成电路1.什么是集成电路？在我们的本科教学计划中与其相关的课程主要有哪些？集成电路（integrated circuit）是通过⼀系列特定的加⼯⼯艺，将晶体三极管、⼆极管等有源器件和电阻、电容等⽆源器件，按照设计的电路互连，“集成”在⼀块半导体单晶⽚上后，封装在外壳内的电路组件单元；通过引脚线完成集成电路芯⽚与外部的连接。
⼤学物理⾼等数学模拟电路实验⼯程数学程序设计单⽚机原理及其应⽤线性代数数字电路与逻辑设计2.⼀般的集成电路设计流程Sys.specification-> Function design-> Logic design-> Circuit design-> Physical design-> verification-> tape out系统规划---------------程序设计----------逻辑综合-------电路设计--------布局和布线----- 验证--------转交设计三．计算机科学与技术1. 计算机有哪些硬件组成？其结构⽰意图硬件部分主要由运算器、控制器、存储器、输⼊部分和输出部分组成2. 操作系统有什么作⽤和功能，⽬前常⽤的有哪些操作系统？操作系统层通常是最靠近硬件的软件层，对计算机硬件作⾸次扩充和改造，主要完成资源的调度和分配，信息的存取和保护，并发活动的协调和控制等许多⼯作。
书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。
因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之，若R>C,则传输总要产生失真。
又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。
故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。
8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念：信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为： 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为： 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[](())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
朱雪龙《应用信息论基础》习题答案互信息凸性互信息函数),(Q P I 的性质2的证明。
对于确定的条件概率矩阵Q 互信息函数),(Q P I 是概率矢量空间S 上的上凸函数。
（其中S ={P ：P =（1p , 2p …, K p ）, ,,...2,1,10K k p k =≤≤而∑==Kk k p 11}）证明：首先由定义知：),(Y X I =)(Y H -)(X Y H其中)(Y H =∑=-Jj j j b p b p 1)(log )(=∑∑∑===-J j k j Kk k j k K k a b p a p b a p 111)()(log),(=∑∑∑===-Jj k j Kk k k j k Kk a b p a p a b p a p 111)()(log)()()(X Y H =∑==-Jj k j j k Kk a b p b a p 11)/(log ),(=∑∑==-Jj k j k j k Kk a b p a b p a p 11)/(log )()(可知对于确定的Q ，)(Y H 和)(X Y H 都是S 上的函数，且)(X Y H 关于P 是线性的。
下面将证明)(Y H 是S 上的上凸函数。
即对?1P ),...,,(11211K p p p =，2P ),...,,(22221K p p p =∈S ，及λ，λ，.1,10λλλ-=≤≤ 成立∑∑∑===++-Jj k j k k k k Kk k j k k k j k kKk a b p a p a p a b p a p a b p a p1211211)()]()([log)]/()()()([λλλλ≥∑∑∑===-Jj k j Kk k k k j k k Kk a b p a p a b p a p 11111)()(log)()(λ∑∑∑===-Jj k j Kk k k k j k k Kk a b p a p a b p a p 11221)()(log)()(λ （1）事实上，首先看不等式左边：∑∑∑===++-j k j k k k k Kk k j k k k j k kKk a b p a p a p a b p a p a b p a p 1211211)()]()([log)]/()()()([λλλλ==++-∑∑∑===Jj k j k k k j k k Kk j k k j k kKk a b p a p a b p a p b a p b a p 1211211)]()()()([log)],(),([λλλλ=∑=++-Jj j j j j j j j jb p b p b p b p12121)]()(log[)]()([λλλλ （2）而不等式右边：∑∑===-Jj k j Kk k k k j k k Kk a b p a p a b p a p 11111)()(log)()(λ-∑∑∑===-J j k j Kk k k k j k k K k a b p a p a b p a p 11221)()(log)()(λ=)(log )()(log )(212111j j Jj j j J j j j j j b p b p b p b p ∑∑==--=λλ （3）因为)(Y H 关于Y 的分布是上凸函数，则成立下面不等式：∑=++-Jj j j j j j j j jb p b p b p b p12121)]()(log[)]()([λλλλ)(log )()(log )(212111j j Jj j j Jj j j j j b p b p b p b p ∑∑==--≥λλ所以，综合（2），（3）式，（1）式成立。
朱雪龙《应用信息论基础》习题答案第二章习题参考答案2.2证明:l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit2) H(X|Y)2= bit H(Y|X)=2-bit , H(X|Z)= 3 2 —bit33) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit2.4证明：（1）根据熵的可加性，可直接得到,a k 1), H(Y) log(k 1),故原式得证2.5考虑如下系统:又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit1不妨设 P(Z=0) = P(Z=1)=2设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p1~[ Plogp + (1 — p)log (1 — p)]-[qlogq + (1 — q)log(1 — q)] =11满足上式的p 、q 可取：p =; q =2.1 In2 xnatIOg 2bi tP(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q ⑵ Y 的值取自（31,32,假设输入X 、Y 是相互独立的，则满足 I(X;Y) = 0 则 H(X|Z)=满足条件的一个联合分布：11 P(X=0, Y=0, Z=0)=4 P(X=1, Y=1, Z=0)=411 P(X=1, Y=1, Z=0)= 4P(X=1, Y=0, Z=1)=42.6 解：1 给出均匀分布p(x)—a x b 其中b a1,则 h(X) 0b a2.7 证明：l(X;Y;Z) = l(X;Y) — l(X;Y|Z)=I(X;Z) — I(X;Z|Y)/ A, B 处理器独立，l(X;Z|Y) = 0l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立11 2.8 N=2 时， P(0 0) =, P(1 1)=—，其它为 022l( X ! ;X 2) = 1 bit N 工2时，l(X k1;X k |X 1 …X k 2) (3 W k)=P(X 「??X k 2中有奇数个1) l(X k1;X k |X 「??X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)1P(X 1…X k 2中有奇数个1)=-2 1P(X 1…X k 2中有偶数个1)=-2P(X k 1=1|X 1 - X k 2中有奇数个1P(X k1=0|X 1…X k 2中有奇数个1)=-2 1P(X k =1|X 1 - X k 2 中有奇数个 1)=-2 1P(X k =0|X 1…X k 2中有奇数个1)=-2 1P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-+ P(X 1 - X k 2中有偶数个 1)=1(注意，这里k W N — 1)1 P(X k 1=0|X1- X k 2中有偶数个1)=-2P（X k=1|X「?X k2中有偶数个1）= （注意，这里k w N-1P（X k=O|X i…X k 2中有偶数个1）=-21P（X k 1=0, X k=0|X1- X k 2中有奇数个1）=—41P（X k 1=0, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=1, X k=0|X1- X k 2中有奇数个1）=-41P（X k 1=1, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=0, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k1=O, X k=1|X1- X k 2中有偶数个1）=-41P（X k 1=1, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k 1=1, X k=1|X1- X k 2中有偶数个1）=-4综上：l（X k1；X k|X1 ...X k 2 中有奇数个1）（3w k w N -1）奇数个1）=H（X k 1|X1...X k 2中有奇数个1） + H（X k |X1 (X)k 2中有-H（X k 1；XJX1…X k 2中有奇数个1）=0l（X k1；X k|X1…X k 2中有偶数个1） = 0当 3 w k w N- 1 时，l（X k1；X k|X1 …X k 2） = 0当k = N时即l（X N 1 ；X N | X1 X N 2）=H（X N 1 |X 1 X N 2 ）—H（X N 1 |X 1 X N 2 ,X N ） =1 bit2.91）实例如2.5题2）考虑随机变量X=Y=Z的情况1取P（X=0, Y=0, Z=0）=- P（X=1, Y=1, Z=1）= 则l（X;Y|Z）= 0I（X;Y） = 1 满足I（X;Y|Z）V I（X;Y）。
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。
浙江广播电视大学成人专科教育《大学信息技术应用基础》题库第1章绪论一、单选题1．（）是用数字、文字、符号、语言等介质来表示事件、事物、现象等的内容、数量或特征，是人类的一切生存活动和自然存在所传达出来的信号和消息。
A．数据B．信息C．情报D．声音2．（）是指用于管理和处理信息所采用的各种技术的总称。
A．数据B．信息C．信息技术D．信息科学3．（）是根据特定的目的和要求将分散蕴涵在不同时空域的有关信息采掘和积聚起来的过程。
A．信息采集B．信息检索C．信息加工D．信息存储4．（）是指将收集到的信息（称为原始信息）按照一定的程序和方法进行分类、分析、整理、编制等，使其具有可用性。
A．信息采集B．信息检索C．信息加工D．信息存储5．（）是指将信息按一定的方式组织和存储起来，并根据信息用户的需要找出有关的信息过程。
A．信息采集B．信息检索C．信息加工D．信息处理二、选择填空题1．信息采集直接关系到整个信息管理工作的质量，为保证信息采集的质量，应坚持准确性原则、（）和（）。
A．全面性原则B．安全性原则C．时效性原则D．保密性原则2．我国国家公共安全行业标准规定了计算机信息系统安全分类为（）、（）和信息安全三个方面。
A．实体安全B．运行安全C．个体安全D．设备安全3．信息具有客观性、抽象性、（）和（）等特征。
A．安全性B．保密性C．可传输性D．共享性4．信息处理的核心技术包括（）、计算机技术、光电子技术、（）。
A．微电子技术B．量子技术C．生物技术D．通信技术5．信息安全技术主要包括信息保密技术、（）和（）等。
A．水印技术B．身份识别技术C．数字签名技术D．防伪技术三、判断题1．数据是信息存在的一种形式，数据可用不同的形式表示，而信息不会因为数据的不同形式而改变。
2．信息不具有共享性，当信息从传递者转移到接收者时，传递者会因此丢失信息。
3．信息安全是防止信息财产被故意地或偶然地非授权泄露、更改、破坏或信息被非法系统辩识、控制，即确保信息的保密性、完整性、可用性和可控性。
《信息论基础》模拟试题一、填空题(本大题共10小空，每小空2分，共20分)1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为和O2.—个八进制信源的最大炳为-3.信源冗余度存在的原因是。
4.设有一连续随机变量X表示信号x(t)的幅度，其幅值在［-4V, 4V］均匀分布，那么该信源的炳h(x)=,则该信源的绝对炳是_____________________ 」5.若某一连续信源X,其平均功率受限为8W,其概率密度函数是高斯分布时，差炳的最大值为，与其炳相等的非高斯分布信源的功率为>6.对称离散信道的转移概率矩阵P的特点是二、掷两粒骰子，各面出现的概率都是1/6,计算信息量：1.两骰子面朝上点数之和为2,该消息包含的信息量是多少？(3分)2.两骰子而朝上点数之和为8时，该消息包含的信息量是多少？(3分)3.两骰子血朝上点数是3和4,该消息包含的信息量是多少？(3分)三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z,取Z=X+Y。
试计算：1.H(Y)、H(Z); (6 分)2.H (XY) ; (3 分)3.I (X;Y), I (Y;Z). (8 分) 四、一阶马尔可夫链信源有3个符号｛a,b.c),转移概率为：P (a/a)二1/2, p (b/a)=1/4, p (c/a) =1 /4, p (a/b) =1 /2, p (b/b)二0, p (c/b) =1/2, p (a/c) =1/2, p (b/c) =1/2, p (c/c)=0。
1.画出状态图；写出转移概率矩阵；(6分)2.求出各符号稳态概率；(6分)3.计算其极限滴；(4分)五、在干扰离散对称信道上传输符号1和0,已知p(0)=1/4,p(1)=3/4,试求:1该信道的转移概率矩阵P(3分)2该信道的信道容量及其输入概率分布(7分)0.6六、某信道的转移矩阵p().50.30.30.2().5 00.2试求：该信道的信道容量及最佳输入概率分布o （6分）七、设在平均功率受限高斯可加波形信道中，信道宽带为5KH 乙乂设信 噪比为20db 1 肖H •耸'该隹1首的隹1首恣晶.分）2若功率信嬴比降或lOdbi 达到相同的最大信息传输率，信道带宽应是 多少？ （3分）八、信源符号 X 有 6 种字母，概率为 0.25 , 0.2, 0.16, 0.15 , 0.1, 0.07 , 0.04 , 0.03. 用霍夫曼编码法编成二进制变长码，写出编程过程并计算：（共16分）1. 编码前信源X 的信源剩余度，2. 平均码长3. 编码效率。
Toolbar 工具document 文件version 版本command 命令arrow箭头shortcut 快捷column列row 行def ault 预设Multimedia 多媒体audio 音频的environment 环境integration 综合static 静态的image 图像index 索引in real time实时地Embed 使嵌入single chip microcomputer 单片机read-only and read-write memory 只读与读写存储器serial ports 串行接口analog-to-digital converter 模数转换器in contrast to 和。
形成对比Origin起源transducer 传感器readout 读出器contaminate 污染electrode 电极interf erence 冲突monitor 监视器electrical engineering 电子工程a remote sensing satellite 遥感卫星Sensor 传感器thermal 热的equilibrium 平衡detector探测器repeatabl e 可重复的sensitivity 敏感Carrier-frequency tuning载波调谐Filtering滤波Amplif ication放大Modulation调制demodulate使解调carrier调谐mixer混频器antenna天线disturb弄乱sideband边带recover重新获得Convey 运输transmission发射encoder 译码器decoder 解码器inverse 到转的crucial 至关紧要的Radiation辐射cable 电缆sample 取样utilization利用interference 干扰ref l ection 发射Icon 图标entry进入button 按钮inductor感应器rotate旋转vertical 垂直地cursor指针drag拖ammeter电流表simulation 仿真Generation产生deploy展开f ax传真mobility活动性desktop 桌面retrieve重新得到attachment附件download下载telecommunication电信reassemble重新召集protocol草案intranet内联网Word is the word processing program of the Microsof t Off ice suite that allows you to create documents and reports Word是Microsof t Off i ce 2003组件中的字处理程序，可用于创建文档和报告When you begin to explore Word 2003,you will notice a signif icant change in the menu structure if you are f amiliar with previous versions of word .the menus in word 2003 display only the commands you have recently used. 如果精通老版本的Word，那么在开始使用Word 2003 时，你将注意到菜单结构的重大变化。
