下载文档原格式
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
一填空题（本题15空，每空1分，共15分）
1.信源熵H(X)的定义为，在时取得
最大值。
条件熵H(Y/X)定义为，它与H(X)的大小关系为。
2.对于平均符号熵为H L(X)的离散平稳无记忆信源，一定存在一种无失真编
码方法，使平均信息率K满足不等式。
最佳码指的是，用衡量各种编码方法与最佳码的差距。
3.限失真信源编码中失真函数的定义为，平均失真定义
为。
4.线性分组码的伴随式定义为，其中错误图案E指的
是。
在一定的差错范围内，利用来判断收码是否有误。
如信道中产生差错，则成立。
在H T固定的前提下，RH T仅与有关，与无关。
2 某一阶马尔可夫信源的状态转移如下图所示，信源符号集为X：{0, 1, 2}，并定义。
试求：
1）状态的极限概率Wi；
2）信源的极限熵H￥；
3）p取何值时H￥取最大值。
（3+3+3=9分）。
（3+3+3=9分）。
南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：一二三四五六七八九十总分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：。
信息论与编码的学习要点自信息自信息表示随机事件xi发生前的不确定性或发生后所包含的信息量，其定义为：互信息互信息表示已知事件y j后所消除的关于事件x i的不确定性，等于事件xi本身的不确定性I(xi)—已知事件y j后对xi仍然存在的不确定性I(xi/yj)，其定义为：平均自信息平均自信息表示整个信源（用随机变量X表示）的平均不确定性，它等于随机变量X的每一个可能取值的自信息I(xi)的统计平均值，其定义为：离散信源的最大熵离散信源中各消息等概率出现时熵最大，也称最大离散熵定理：联合熵联合熵表示二维随机变量XY的平均不确定性，它等于联合自信息的统计平均值，其定义为：条件熵条件熵表示已知随机变量X后，对随机变量Y仍然存在的平均不确定性，其定义为：各类熵之间的关系为：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)≤H(X)+H(Y)X,Y统计独立时，H(XY)=H(X)+H(Y)平均互信息平均互信息表示收到一个符号集（用随机变量Y表示）后消除的关于另一个符号集（X）的不确定性，也就是从Y所获得的关于X的平均信息量，其定义为：平均互信息和各类熵之间的关系：I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)当X和Y统计独立时，I(X;Y)=0数据处理定理如果随机变量X，Y，Z构成一个马尔可夫链，则有：I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z)等号成立的条件是对于任意的x，y，z，有p(x/yz)=p(x/z)和p(z/xy)=p(z/x)数据处理定理中不等式I(X;Z)≤I(X;Y)表明从Z所获得的关于X的信息量小于等于从Y所获得的关于X的信息量。
如果将Y→Z看成数据处理系统，则通过数据处理后，虽然可以满足我们的某种具体要求，但是从信息量来看，处理后会损失一部分信息，最多保持原来获得的信息，即对收到的数据Y进行处理后，决不会减少关于X的不确定性。
一、填空题（本题15空,每空1分,共15分 ）1一个消息来自于四符号集{a ，b ，c ，d}，四符号等概出现。
由10个符号构成的消息“abbbccddbb ”所含的信息量为（ ）bit ，平均每个符号所包含的信息量为（ ）bit 。
2两个二元信道的信道转移概率矩阵分别为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=2/16/13/13/12/16/16/13/12/1,10000121P P ，则此信道的信道容量C1=（ ）bit/符号，信道2的信道容量C2=（ ）bit/符号。
两信道串联后，得到的信道转移概率矩阵为（ ），此时的信道容量C=（ ）bit/符号。
3条件熵H(Y/X)的物理含义为（ ），所以它又称为（ ）。
4一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。
第一次实验包含的信息量为（ ）bit/符号；第二次实验包含的信息量为（ ）bit/符号。
5线性分组码的伴随式定义为（ ），其中错误图案E 指的是（ ）。
二进制码中，差错个数可等效为（ ）。
6设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为⎩⎨⎧=≠=j i j i dij01，⎩⎨⎧=-≠=j i j i P jiεε1，则失真矩阵[d ij ]=（ ），平均失真D=（ ）。
二、判断题（本题10小题,每小题1分,共10分）1、I(p i ) = - logp i 被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。
（ ） 2、异前置码一定是唯一可译码。
（ ）3、无记忆离散消息序列信道，其容量C ≥各个单个消息信道容量之和。
（ ）4、冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。
（ ）5、当信道固定时，平均互信息),(Y X I 是信源分布的∪型凸函数。
共 页 第1页南京工程学院试卷( 2卷)20 /20 年 第 学期课程所属部门: 自动化学院 课程名称: 微机原理及应用考试方法: 闭卷 使用班级:命 题 人: 课程组 教研室主任审核: 主管领导同意:题号 一 二三四五六七八九十总分得分一、 单项选择题(请在每小题4个备选答案中, 选出一个最好答案, 本题15题 ,每空1题,共15分 ）1. 若十进制数为100, 则该数二进制表示为（ ）。
A ．1100100B ．1000000C ．01111100D ．101100102. 完成二进制数无符号数01111101与00000101减法运算正确结果是（ ）。
A ．10010101 B ．01111000 C ．00100010 D ．100000103. 完成二进制数01110001和00001111逻辑“或”运算正确结果是（ ）。
A ．01110000B ．01110001C ．01111111D ．00001111 4. 十进制数10.05BCD 数为（ ）。
A ．10000. 0101B ．10000.00000101C ．00010000.00000101D ．00010000.1015. 堆栈指针SP 是微处理器中用于指示（ ）专用寄存器。
A ．栈底地址B ．栈顶地址C ．堆栈基地址D ．中止服务程序或子程序入口地址 6. 下列指令中, 不正确指令是（ ）。
A ．PUSH AXB ．POP BXC ．PUSH CLD ．POP DX 7. 下列引发CPU 程序中止4种情况中, （ ）需要设备提供中止类型号。
本题班级 学号 姓名。
一 填空题（本题15空，每空1分，共15分）1 设在一8行×8列共64个方格的正方形棋盘上，甲随意将一粒棋子放在棋盘的某个方格，让乙猜测棋子所在的位置。
如将方格按顺序编号64;......,3;2;188332211→→→→y x y x y x y x ，则令乙猜测棋子所在方格顺序号的信息量为（log 264=6）bit ；如方格按行和列编号，甲将棋子所在方格的行编号告诉乙后，在令乙猜测棋子所在列所需的信息量为（3）bit 。
2 信源的平均自信息量指的是（平均每个符号所能提供的信息量 ）；信源熵用来表征信源的（平均不确定度 ）；平均互信息量I(X;Y)的物理含义是（Y 已知后所获得的关于X 的信息 ），I(Y ; X)的物理含义是（X 已知后所获得的关于Y 的信息 ）。
3 传输信道中常见的错误有（随机错误）、（突发错误）和混合错误三种；差错控制方式主要有（检错重发）、（前向纠错 ）和混合方式三种。
4 设C = {11100, 01001, 10010,00111}是一个二元码，该码的最小距离dmin =（3），则该码最多能检测出（2）个随机错，最多能纠正（1）个随机错。
5 设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为⎩⎨⎧=≠=j i j i dij1，⎩⎨⎧=-≠=j i j i Pjiεε1，则失真矩阵[d ij ]=（1001⎛⎫⎪⎝⎭），平均失真D=（ ε ）。
二判断题（本题10小题,每小题1分,共10分）1．√2．×3．√4．√5．×6．×7．√8．√9．√10．× （1） 对于独立信源，不可能进行预测编码。
（ ）（2） 信息率失真函数的意义是：对于给定的信源，在满足保真度准则*D D ≤的前提下，信息率失真函数R(D)是信息率允许压缩到的最大值。
（ ） （3） 一般情况下，互信息满足：0≤I(X;Y)≤min(H(X),H(Y))。
（ ） （4） 码字集合{100，101，0，11}是唯一可译码。
（ ） （5） 互信息量);(j i y x I ≥0，即具有非负性。
（ ） （6） 若要求发现n 个独立随机错误，则要求最小码距1n min+=d 。
（ ）（7） 对于强对称信道，只有当信源等概分布时，才能使其达到信道容量C 。
（ ） （8） 二维离散平稳有记忆信源的熵满足：H(X1,X2)≤H(X1)+H(X2)。
（ ） （9） 线性分组码中任意两个码字的模2加仍为一个有用码字。
（ ） （10） 马尔可夫序列的联合概率具有时间推移不变性。
（ ）四计算题（本题3小题,共25分）1设有离散无记忆信源X ，其概率分布为P （X ）={0.37，0.25，0.18，0.12，0.05，0.03}，求：1）信源符号熵H （X ）；2）用哈夫曼编码编成二元变长码，并计算其编码效率；3）如要求译码错误小于10-3，采用定长编码达到2）中的编码效率，需要多少个信源符号一起编码？ （3+4+4=11分）解：1）2()log i iiH X p p =-∑=2.22bit/符号2）两个小概率相加后，得到的概率重新排序，上分支编码为0，下分支编码为1。
得到整个信源编码如上所述。
平均码长0.3720.2520.1820.1230.0540.034K =⨯+⨯+⨯+⨯+⨯+⨯=2.58 编码效率3）设采用定长二元码有：22222275.0)]([)()]([])([bitX H X I p X H X I E i ii i =-=-=∑σ编码效率为86.1% 即()86.1%0.36()H X H X εε=⇒=+按译码错误10-3有，2325.7910e P L L σε≤⇒≥⨯个，所以，需要35.7910⨯个信源符号一起编码，才可以达到86.1%的编码效率。
2 设C = {00000000, 00001111, 00110011, 00111100}是一个二元码。
试：1）计算码C 中所有码字之间的距离及最小距离；2）在一个二元码中，如果把某一个码字中的0和1互换，即0换为1，1换为0，所得的字称为此码字的补。
所有码字的补构成的集合称为此码的补码。
求码C 的补码以及补码中所有码字之间的距离和最小距离，它们与1）中的结果有什么关系？ 3）试将2）中的结果推广到一般的二元码。
（2+2+2=6分） 解：1）d(00000000, 00001111)=4 d(00000000, 00110011)=4d(00000000, 00111100)=4 d(00001111, 00110011)=4d(00001111, 00111100)=4 d(00110011,00111100)=4 故码C 的最小距离d=4 （2分）2） 码C 的补码是 {11111111, 11110000, 11001100, 11000011} d(11111111, 11110000)=4 d(11111111, 11001100)=4 d(11111111, 11000011)=4 d(11110000, 11001100)=4d(11110000, 11000011)=4 d(11001100, 11000011)=4故C 补码的最小距离d=4 （2分）3）推广到一般的二元码也有以上的结论：设码C 中任意两码字的距离为d ，即两码字有d 位不同，n-d 位相同。
变补后，仍有d 位不同，n-d 位相同，所以任意两码字的距离不变，最小距离当然不变。
（2分） 3 一个（8，4）系统线性分组码，其一致校验方程为：0123101220133023c m m m c m m m c m m m c m m m =++=++=++=++，其中m 0~m 3是信息位，C 0~C 3是校验位。
1)求出此分组码的生成矩阵G 和校验矩阵H 。
2) 求此码的最小距离d min 。
3) 若输入信息m=(1010)，试求对应的输出码字。
4)若接收序列R=（10111010），如何判断接收是否有错？（2+2+2+2=8分）：1）由一致校验方程，易得出生成矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=11110101101000111001011100001G校验矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=10111010010110010011100011110H2）16组码字为00000000、00011011、00101101、00110110、01001110、01010101、01100011、01111000、10000111、10011100、10101010、10110001、11001001、11010010、11100100、111111111 ∴4min =d3）输入信息m=(1010)，对应的输出码字为10101010。
4）1011的正确码字应该是10110011，所以有错，判断是否有错，只需计算RH T 是否为零，如为零则无错，不为零则有错。
五综合题（本题3小题,共30分）1 一离散无记忆信源X 的概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡83,41,83,,)(321x x x XP X ，求：1）该信源的熵H （X ）；2）对该信源进行二次扩展的概率空间⎥⎦⎤⎢⎣⎡)(2XP X ，并求)(2X H ；3）由此确定)(2X H 与)(X H 之间的关系。
（2+3+3=8分）解: 1）2()log i iiH X p p =-∑=1.565bit/符号2） X 1X 1 X 1X 2 X 1X 3 X 2X 1 X 2X 2 X 2X 3 X 3X 1 X 3X 2 X 3X 3 9/64 3/32 9/64 3/32 1/16 3/32 9/64 3/32 9/64221()l o g 2i iiH X p p =-∑=1.563）有上述计算可知，)()(2X H X H = 离散无记忆信源的平均符号熵=离散单个符号熵 2设某卷积码的转移函数矩阵为G （D ）=（1+D ，1+D 2），试：1）画出该卷积码的编码器结构图； 2）求该卷积码的状态图；3）求该码的自由距离d f 。
（3+4+3=10分）解：1）编码器结果如下所示：2）状态图：3)假设初始状态为00，可以由上述的状态图看出：经路径00—10—01—00又回到初始状态，并容易验证这是一条最短路径，由此得自由距离d f =4。
3 一个二进制二阶马尔可夫信源的原始信源为X ：{0，1}，m=2，这时的状态空间为：S ：{S1=00，S2=01，S3=10，S4=11}，共有n m =22=4个不同的状态。
已知其一步转移概率为： 求：1）该马尔可夫信源的状态图； 2）各状态的极限概率；3）该信源的极限熵H ∞。
（4+4+4=12分）解：1）（4分）由状态图可以判断，这是一个非周期不可闭集，具有各态历经性，存在状态极限概率Wi 。
有：2）约束条件为：⎪⎩⎪⎨⎧==⋅∑=141i i W W P W ，解得其极限概率分别为：W1=W4=5/14; W2=W3=2/14 （4分）3）由极限概率和状态转移概率就可以计算马尔柯夫信源的极限熵：fuhaobit Si Sj p Si Sj p WHi j i/8.0)/(log )/(414112=-=∑∑==+ （4分。
