下载文档原格式
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：一二三四五六七八九十总分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：。
南京工程学院试卷D一填空题（本题15空 ,每空1分,共15分）3R（D）函数是在限定失真为D的条件下，信源的最（）信息速率，被定义为（）。
4信源序列往往具有很强的相关性，要提高信源的效率首先要解除信源的相关性。
预测编码解除信源相关性的方法是在（）域中进行，而变换编码是在（）域中进行。
5常用的检纠错方法有（）、检错重传和混合纠错三种。
二判断题（本题10小题,每小题1分,共10分）（2）预测编码是通过在频域上解除序列的相关性来压缩码率的。
（）（3）信源的冗余度=1-信源效率。
（）（4）用信噪比换取频带是现代扩频通信的基本原理。
（）（5）互信息I(X;Y)与信源熵H(X)的关系为：I(X;Y)≤H(X)。
（）（6）R(D)是关于失真度D的严格递减函数。
（）（7）若要求能检测出5个独立随机错误，则要求最小码距dmin=6。
（）（8）信源编码的基本途径有2个：一是使序列中的各个符号尽可能相互独立；二是使各个符号出现的概率尽可能地相等。
（）（9）信息在处理过程中，具有信息不增性。
（）（10）任意非系统线性分组码都可等价为相应的系统分组码。
（）三名词解释（本题4小题,每小题5分,共20分）1 极限熵2 最佳变长码3 TCM4 信道容量四计算题（本题3小题,共25分）1 布袋中有手感完全相同的3个红球和3个兰球，每次从中随机取出一个球，取出后不放回布袋。
用Xi表示第i次取出的球的颜色，i=1,2, (6)求：1）H(X1)、H(X2)；2）H(X2/X1)；3）随k的增加，H(Xk/X1…Xk-1)是增加还是减少？请解释。
(4+2+2=8分)2 某办公室和其上级机关的自动传真机均兼有电话功能。
根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话占的比例约为3:7，但发传真时约有5%的次数对方按电话接续而振铃，拨电话时约有1%的次数对方按传真接续而不振铃。
求：（1）上级机关值班员听到电话振铃而对此次通信的疑义度；（2）接续信道的噪声熵。
信息论参考答案信息论参考答案信息论是一门研究信息传输和编码的学科，它的核心概念是信息的度量和传输。
信息论的发展可以追溯到上世纪40年代，由克劳德·香农提出，并逐渐成为计算机科学、通信工程等领域的重要理论基础。
本文将从信息的定义、信息的度量以及信息的传输三个方面，探讨信息论的相关知识。
一、信息的定义信息是指能够改变接收者知识状态的事实或数据。
在信息论中，信息的基本单位是比特（bit），它表示一个二进制的选择，即0或1。
比特是信息论中最小的单位，可以用来表示一个简单的选择问题，如是或否、真或假等。
当然，在实际应用中，比特往往被扩展为更大的单位，如字节、千字节等。
二、信息的度量信息的度量是信息论的核心问题之一。
克劳德·香农提出了信息熵的概念，用来度量信息的不确定性或者说信息的平均量。
信息熵的计算公式为：H(X) = -ΣP(x)log2P(x)，其中H(X)表示随机变量X的信息熵，P(x)表示随机变量X取值为x的概率。
信息熵越大，表示信息的不确定性越高，反之亦然。
除了信息熵，信息论还引入了条件熵、相对熵和互信息等概念。
条件熵表示在已知某些信息的情况下，对另一个随机变量的不确定性进行度量。
相对熵用来衡量两个概率分布之间的差异，而互信息则表示两个随机变量之间的相关程度。
三、信息的传输信息的传输是信息论的另一个重要问题。
在信息论中，通过信道来传输信息。
信道可以是有线的或者无线的，可以是噪声的或者非噪声的。
为了保证信息的可靠传输，需要对信息进行编码和解码。
编码是将信息转化为能够在信道中传输的信号的过程。
常见的编码方法有霍夫曼编码、香农-费诺编码等。
编码的目标是尽量减少信息的冗余，提高信息的传输效率。
解码是将经过信道传输的信号恢复为原始信息的过程。
解码的目标是尽量减少信息的失真，保证信息的可靠性。
常见的解码方法有最大似然解码、Viterbi解码等。
信息论的应用广泛，不仅在通信领域发挥着重要作用，还在数据压缩、密码学、人工智能等领域有着广泛的应用。
共 页 第1页南京工程学院试卷( 2卷)20 /20 年 第 学期课程所属部门: 自动化学院 课程名称: 微机原理及应用考试方法: 闭卷 使用班级:命 题 人: 课程组 教研室主任审核: 主管领导同意:题号 一 二三四五六七八九十总分得分一、 单项选择题(请在每小题4个备选答案中, 选出一个最好答案, 本题15题 ,每空1题,共15分 ）1. 若十进制数为100, 则该数二进制表示为（ ）。
A ．1100100B ．1000000C ．01111100D ．101100102. 完成二进制数无符号数01111101与00000101减法运算正确结果是（ ）。
A ．10010101 B ．01111000 C ．00100010 D ．100000103. 完成二进制数01110001和00001111逻辑“或”运算正确结果是（ ）。
A ．01110000B ．01110001C ．01111111D ．00001111 4. 十进制数10.05BCD 数为（ ）。
A ．10000. 0101B ．10000.00000101C ．00010000.00000101D ．00010000.1015. 堆栈指针SP 是微处理器中用于指示（ ）专用寄存器。
A ．栈底地址B ．栈顶地址C ．堆栈基地址D ．中止服务程序或子程序入口地址 6. 下列指令中, 不正确指令是（ ）。
A ．PUSH AXB ．POP BXC ．PUSH CLD ．POP DX 7. 下列引发CPU 程序中止4种情况中, （ ）需要设备提供中止类型号。
本题班级 学号 姓名。
考试科目名称：信息论一. 单选（每空2分，共20分）1.信道编码的目的是（C ），加密编码的目的是（D ）。
A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D ）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信道是有噪无损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独立，H（Y）=H（YX）6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H=1.5比特/符号。
问若用一般传送方式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为 ，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ）A ．香农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和香农编码D ．算术编码和游程编码二. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
一 填空题（本题15空,每空1分,共15分 ）
1 已知一个二元信源{0，1}等概分布，连接到一个二元信道
⎥
⎦⎤⎢⎣⎡=98.002.002.098.0ji p ，则p(x1,y1)=（ ），p(x1,y2)=（ ），p(x2,y1)=（ ），p(x2,y2)=（ ）；可得p(y1)=（ ）；
p(y2)=（ ）。
2 一离散准对称信道的转移概率矩阵为
⎥⎦⎤
⎢⎣⎡=3/16/13/16/16/16/13/13/1P ，可得到该信道的信道容量C=（ ），此时信道输入端的概率分布为（ ）。
若将两个这
样的准对称信道串接后，（能/不能）（ ）构成一个新的信道，原因是（ ）。
3 R （D ）函数是在限定失真为D 的条件下，信源的最（ ）信息速率，被定义为
（ ）。
4 信源序列往往具有很强的相关性，要提高信源的效率首先要解除信源的相关性。
预测编码解除信源相关性的方法是在（ ）域中进行，而变换编码是在（ ）域中进行。
5 常用的检纠错方法有（ ）、检错重传和混合纠错三种。
二判断题（本题10小题,每小题1分,共10分）
（1） 独立并联信道容量
∑=≥L
l l
L C C 1
,...,2,1；只有在输入符号相互独立时，且p(X 1,X 2,…,X L )
达到最佳分布时，容量最大。
（ ）
（2） 预测编码是通过在频域上解除序列的相关性来压缩码率的。
（ ） （3） 信源的冗余度=1-信源效率。
（ ） （4） 用信噪比换取频带是现代扩频通信的基本原理。
（ ） （5） 互信息I(X;Y)与信源熵H(X)的关系为：I(X;Y)≤H(X)。
（ ） （6） )(D R 是关于失真度D 的严格递减函数。
（ ） （7） 若要求能检测出5个独立随机错误，则要求最小码距6min =d 。
（ ）
（8） 信源编码的基本途径有2个：一是使序列中的各个符号尽可能相互独立；二是使
各个符号出现的概率尽可能地相等。
。
（ ） （9） 信息在处理过程中，具有信息不增性。
（ ） （10） 任意非系统线性分组码都可等价为相应的系统分组码。
（ ） 四 计算题（本题3小题,共25分）
1 布袋中有手感完全相同的3个红球和3个兰球，每次从中随机取出一个球，取出后不放回布袋。
用Xi 表示第i 次取出的球的颜色，i=1,2,….,6。
求：1）H(X1)、H(X2)；
2）H(X2/X1)；
3）随k 的增加，H(Xk/X1…Xk -1)是增加还是减少？请解释。
(4+2+2=8分)
2 某办公室和其上级机关的自动传真机均兼有电话功能。
根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话占的比例约为3:7，但发传真时约有5%的次数对方按电话接续而振铃，拨电话时约有1%的次数对方按传真接续而不振铃。
求：
（1）上级机关值班员听到电话振铃而对此次通信的疑义度；
（2）接续信道的噪声熵。
（4+4=8分）
3、考虑由g(x)=1+x+x4生成的(15,11)循环Hamming码。
试：
1）确定此码的校验多项式；
2）确定它对偶码的生成多项式；
3）找出此码的系统生成矩阵；
4）求该码的一致校验矩阵。
（2+2+3+2=9分）
五、综合题（本题3小题,共30分）
1 某卷积码的编码器框图如下。
试：
1）写出编码器的生成序列g(1)、g(2)和生成多项式g(1)（D）、g(2)（D）；
2）画出状态图；
3）画出网格图；
4）求该码的自由距离d f。
（4+2+2+2=10分）
2 信源符号X的概率空间为
⎥
⎦
⎤
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
9.0
1.0
2
1
x
x
P
X
，每次两个符号一起编码，试写出其哈夫曼
编码，并求其平均码长L和编码效率。
（4+4=8分）
3设一阶马尔可夫信源的状态转移图如下。
信源X的符号集为{0，1，2}，试：1）求平稳后信源的概率分布；
2）求信源的极限熵H∞；
3）求当p=0和p=1时的信源熵，并说明理由。
（4×3=12
分）
答案：
1、0.49，0.01，0.10，0.40，0.59，0.41
2、0.041bit，等概分布，不能，信道的输出端符号数比信道输入端多
3、小，
4、时，频域或广义频域即空域
5、前向纠错
二判断题（本题10小题,每小题1分,共10分）
1．×2．×3．√4．×5．√6．√7．√8．√9．√10．√四、
1、解：1）P(第一个球是红球)=P(第一个球是兰球)=0.5
H(X1)=log2=1bit/fuhao
P(第二个球是红球)=P(第二个球是兰球)=0.5
H(X2)=log2=1bit/符号
2）H(X2/X1)=P(第一个球是红球)*H(X2/第一个球是红球)+P(第一个球是篮
球)*H(X2/第一个球是兰球)=0.5H(2/5)+0.5H(2/5)=0.971bit/符号
3）随着k的增加，H(X k/X1…X k-1)减少，因为知道以前的结果会降低这次结果的
不确定性，以前的结果知道的越多，这次结果的不确定性就越小，直到
H(X6/X1…X5)=0。
2、解：设发传真和打电话分别为事件X1与X2,对方按传真和按电话接续分别为
事件Y1和Y2,则
P(X1)=30%,P(X2)=70% P(Y1|X1)=95%, P(Y2|X1)=5%,
P(Y1|X2)=1%, P(Y2|X2)=99% P(X1Y1)=0.285, P(X1Y2)=0.015
P(X2Y1)=0.007, P(X2Y2)=0.693
P(Y1)= P(X1Y1)+ P(X2Y1)= 0.292 P(Y2)=1－P(Y1)= 0.708
H(X)=－p(x1)lg p(x1)－p(x2)lgp(x2)=0.8814 bit/符号
H(Y)=－p(y1)lg p(y1)－p(y2)lgp(y2)=0.8713 bit/符号
I(X;Y)=H(X)+H(Y)－H(XY)=0.7288 bit/信符
（1）听到电话振铃的疑义度
H(X|Y2)=－P(X1Y2)lb P(X1Y2)－P(X2Y2)lb P(X2Y2)= 0.4575 bit/信符（2）接续信道的噪声熵H(Y|X)=H(Y)－I(X;Y)=0.1425 bit/信符
3、解：1）校验多项式
h(X)=(X15+1)/g( x)
=X11+X 8+X 7+X 5+X 3+X 2+X+1
2）
五、
1、解：1）由图可知：连接矢量为：g(1)=[1,0,1] g(2)=[0,1,1]连接多项式为：g(1)（D）= 1+D2g(2)（D）=D+D2
2）状态图为：其中（s0:00，s1:01，s2:10，s3:11）
2、解：哈夫曼编码参考答案：0，11，100，101（哈夫曼编码并不唯一）（4分）平均码长=0.81+0.09*2+0.10*3=1.29bit/2符号=0.645bit/符号（2分）
编码效率（2分）
3、。
