西安科技大学2005—2006信息论期末考试试题

《信息论基础》试卷（期末）（B卷）重庆邮电⼤学2007/2008学年2学期《信息论基础》试卷（期末）（B 卷）（半开卷）⼀、填空题（共20分，每空1分）1、通信系统中，编码的主要⽬的有两个，分别是和。

2、离散⽆记忆信源存在剩余度的原因是。

3、当时，信源熵为最⼤值。

⼋进制信源的最⼤熵为，最⼩熵为。

4、⽆失真信源编码的平均码长最⼩理论极限制为。

5、⼀个事件发⽣概率为0.125，则⾃相关量为。

6、根据信原输出随机序列中随机变量前后之间有⽆统计依赖性，信原可以分为和。

7、噪声瞬时值的概率密度函数服从分布，同时功率谱密度为的噪声称为⾼斯⽩噪声。

8、当时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是⾼斯分布或正态分布或时，信源具有最⼤熵，其值为值。

9、在下⾯空格中选择填⼊数学符号“,,,=≥≤>”或“?” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)（2）假设信道输⼊⽤X 表⽰，信道输出⽤Y 表⽰。

在有噪⽆损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。

⼆、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

三、（16分）已知信源12345S P 0.250.20.20.20.15s s s s s =（1）⽤霍夫曼编码法编成⼆进制变长码；（4分）（2）计算平均码长—L ；（4分）（3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分）（5）计算编码效率η。

（2分）四、（12分）已知⼀个平均功率受限的连续信号，通过带宽W 10MHz =的⾼斯⽩噪声信道，试计算（1）若信噪⽐为10，信道容量为多少？（4分）（2）若信道容量不变，信噪⽐降为5，信道带宽为多少？（4分）（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率⽐值应等于多少？（4分）五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======（1）画出状态转移图（4分）（2）计算稳态概率（4分）（3）计算信源的极限熵（4分）（4）计算稳态下H1，H2及其对应的剩余度。

○？○？大学 2008-2009 学年第一学期2006级 信息与计算科学专业 本 科 卷 A 参考答案与评分标准课程名称 信息论基础课程号（？？？） 考试形式（闭卷笔试） 时间（120分钟））一、判断题：本题共10小题，每题2分，满分20分。

1、√；2、√；3、×；4、×；5、√；6、×；7、×；8、√；9、√；10、×。

二、填空题：本题共7小题，每空2分，满分20分。

1、码字的最小距离（min d ）;2、（减少）冗余，提高编码效率; 提高信息传递的可靠性；3、系统码;4、无失真信源编码定理，信道编码定理，限失真信源编码定理;5、信道和信源都是无记忆；6、香农编码；7、2a。

三、计算题：本题共4小题，满分50分。

(15分)解：1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦联合概率(,)i p x y则Y（2分）（1）11+414()log 2log log 24141a a H Y a a -=+++- ------------------（2分） 211161log 2log log 24141a aa a -=++-+ 211111log 2log16log log 244141a aa a -=+++-+23111log 2log log 24141a aa a-=++-+；取2为底2223111()(log log )24141a aH Y bit a a-=++-+； ------------------（1分） （2）11111111(|)log log log log log 2222224444aa a a a H Y X ---⎡⎤=-++++⎢⎥⎣⎦3(1)log 2log 22a a -=-+3log 22a-=； 取2为底，3(|)2aH Y X bit -=； ------------------（2分） （3）[]2()()()111max (;)max ()(|)max log 2log log 24411i i i p x p x p x aa a C I X Y H Y H Y X a a -⎛⎫==-=++ ⎪+-⎝⎭。

《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r （S））。

5、当R=C或（信道剩余度为0）时，信源与信道达到匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。

9、在下面空格中选择填入数学符号“”或“"（1）当X和Y相互独立时，H（XY)=H(X）+H（X/Y）=H（Y)+H（X）。

（2)（3）假设信道输入用X表示，信道输出用Y表示.在无噪有损信道中，H(X/Y)〉 0, H（Y/X)=0,I(X；Y）<H(X)。

二、若连续信源输出的幅度被限定在【2，6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少.=2bit/自由度该信源的绝对熵为无穷大.三、已知信源(1）用霍夫曼编码法编成二进制变长码;（6分)（2）计算平均码长;（4分）（3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5)计算编码效率。

(2分）(1)编码结果为：（2）（3）（4）其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。

如果符号的码元宽度为0。

5。

计算:（1）信息传输速率。

（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。

试计算正确传输这些数据最少需要的发送功率P。

解：（1）（2）五、一个一阶马尔可夫信源，转移概率为.（1) 画出状态转移图。

2022年西安科技大学信息管理与信息系统专业《计算机网络基础》科目期末试卷A（有答案）一、选择题1、使用后退N帧协议，根据图所示的滑动窗口状态（发送窗口大小为2，接收窗口大小为1），指出通信双方处于何种状态（）。

A.发送方发送完0号帧，接收方准备接收0号帧B.发送方发送完1号帧，接收方接收完0号帧C.发送方发送完0号帧，接收方准备接收1号帧D.发送方发送完1号帧，接收方接收完1号帧2、主机甲和主机乙已建立了TCP连接，甲始终以MSS=1KB大小的段发送数据，并一直有数据发送；乙每收到一个数据段都会发出一个接收窗口为10KB的确认段。

若甲在t时刻发生超时拥塞窗口为8KB，则从t时刻起，不再发生超时的情况下，经过10个RTT后，甲的发送窗口是（）。

A.10KBB.12KBC.14KBD.15KB3、使用两种编码方案对比特流01100111进行编码的结果如图所示，编码1和编码2分别是（）A.NRZ 和曼彻斯特编码B.NRZ 和差分曼彻斯特编码C.NRZ-I和曼彻斯特编码D.NRZ-I和差分曼彻斯特编码4、主机甲通过128kbit/s卫星链路，采用滑动窗口协议向主机乙发，送数据，链路单向传播延迟为250ms，帧长为1000字节。

不考虑确认帧的开销，为使链路利用率不小于80%，帧序号的比特数至少是（）A.3B.4C.7D.85、假设物理信道的传输成功率是95%，而平均一个网络层的分组需要10个数据链路层的帧来发送。

如果数据链路层采用了无确认的无连接服务，那么发送网络层分组的成功率是（）。

A.40%B.60%C.80%D.95%6、某信道的信号传输速率为2000Baud，若想令其数据传输速率达到8kbit/s，则一个信号码元所能取的有效离散值个数应为（）。

A.2B.4C.8D.167、不含同步信息的编码是（）。

I.非归零码 II.曼彻斯特编码III.差分曼彻斯特编码A.仅IB.仅IIC.仅II、IID.I、II、III8、图中，若主机H2向主机H4发送1个数据帧，主机H4向主机H2立即发送1个确认帧，则除H4外，从物理层上能够收到该确认帧的主机还有（）.A.仪H2B.仅H3C.仅H1，H2D. 仅H2、H39、下列说法错误的是（）A.P2P是网络结点之间采取对等的方式直接交换信息的工作模式B.客户机是面向任务的，服务器是面向用户的C.客户机通常位于前端，服务器通常位于后端D.客户机和服务器之间是通过网络来实现协同计算任务的10、下列哪一项不属于路由选择协议的功能？（）A.获取网络拓扑结构的信息B.选择到达每个目的网络的最优路径C.构建路由表D.发现下一跳的物理地址二、填空题11、在传输介质上传输的信号有____________信号和____________信号之分。

信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。

2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。

在信息论中，熵越高，信息的不确定性越大。

3. 请简述信源编码定理。

答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。

4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。

它是信道的最大信息传输率，通常用比特每秒（bps）来表示。

5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。

6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。

7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。

线性码通常可以用生成矩阵和校验矩阵来表示。

8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。

卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。

9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。

10. 请解释什么是信道编码的译码算法。

答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。

常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。

这些算法旨在最小化译码错误的概率。

信息编码论期末考试试题一、单项选择题（每题2分，共20分）1. 信息论的奠基人是：A. 爱因斯坦B. 牛顿C. 香农D. 麦克斯韦2. 下列哪个不是编码的基本原则？A. 唯一性B. 可识别性C. 可逆性D. 复杂性3. 熵是衡量信息量的一个指标，它在信息论中的定义是：A. 信息的不确定性B. 信息的确定性C. 信息的有序性D. 信息的无序性4. 在信息编码中，冗余度是指：A. 编码中多余的部分A. 编码中重复的部分C. 编码中必需的部分D. 编码中缺失的部分5. 以下哪个编码方式不是基于概率的？A. 霍夫曼编码B. 香农-费诺编码C. 游程编码D. ASCII编码二、填空题（每题2分，共20分）1. 信息论中的信息量通常用______来衡量。

2. 信息的传输速率是指单位时间内传输的______。

3. 在编码理论中，______编码是一种无损压缩编码。

4. 信息论中的信噪比是指______与______的比例。

5. 编码的目的是减少信息的______，提高信息的传输效率。

三、简答题（每题10分，共30分）1. 简述信息论中熵的概念及其计算公式。

2. 描述霍夫曼编码的基本原理及其在数据压缩中的应用。

3. 阐述信道容量的概念，并解释如何通过信道编码来逼近信道容量。

四、计算题（每题15分，共30分）1. 给定一组字符及其出现概率：A(0.4), B(0.25), C(0.15), D(0.1), E(0.1)。

请使用霍夫曼编码为这组字符设计一个最优编码方案，并计算该编码方案的平均码长。

2. 假设一个信道的信噪比为10dB，信道带宽为3000Hz，请计算该信道的最大数据传输速率（香农极限）。

五、论述题（共20分）1. 论述信息编码在现代通信系统中的重要性，并举例说明其在实际应用中的作用。

请考生在规定的时间内完成以上试题，注意保持答题卡的整洁，字迹清晰。

祝您考试顺利！。

信息论与编码期末考试题（全套）（一）一、判断题共 10 小题，满分 20 分.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(XH . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （） 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信（）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （） 6. 连续信源和离散信源的熵都具有非负性. （） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （） 9. 率失真函数的最小值是0. （）10.必然事件和不可能事件的自信息量都是0. （）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X =???，其失真矩阵00a D a ??=，则该信源的max D = .三、本题共 4 小题，满分 50 分.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号iy )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ??=.（1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源X 的符号集为}2,1,0{.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.3、设码符号为}2,1,0{=X ，信源空间为05.005.005.005.01.01.02.04.087654321s s s s s s s s 试构造一种三元紧致码.4、设二元)4,7(线性分组码的生成矩阵为=1000101010011100101100001011G . （1）给出该码的一致校验矩阵，写出所有的陪集首和与图2-13之相对应的伴随式；（2）若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码.（二）一、填空题（共15分，每空1分）1、信源编码的主要目的是，信道编码的主要目的是。