信息论与编码技术复习题（1）
一、（32分）综合概念题
1. 什么是对偶码和缩短码？
2. 信息的量是可以测量的，与信息的大小有关的是：
a. 事物的重量，
b. 事件的不确定性，
c. 讲话的声音音量，
d. 描述事物的文字多少。
3. 即时码在收到 的码符号序列时，就能直接把它译成对应的信源符号。
a. 两个完整码字，
b. 一个完整码字，
c. 三个完整码字，
d. 完整码字及后一个码字的第一个码元。
4. 离散信源的熵的含义是：在信源输出之前，它表示 ；在信源输出之后，它表示 ；它的单位是： 。
5. 离散平稳信源（有记忆）的各维联合概率分布与 时间无关。
6. 叙述信源符号的相关程度与信源的符号熵及信源的剩余度之间的关系。
7. 简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是多少？
8. 当信道带宽为5000Hz 、信噪比为30dB 时，求其信道容量。
二、（15分）设信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4.06.0)(21x x x p X 通过一个干扰信道，输出信号为Y=[y 1,y 2]，其信道矩阵为⎥⎦
⎤⎢⎣⎡=4/14/36/16/5P 。求： （1）X 、Y 的联合概率矩阵p(xy)和后向概率矩阵p(x|y)；
（2）噪声熵H(X|Y)和信道疑义度（或损失熵）H(X|Y)；
（3）平均互信息I(X;Y)。
三、（16分）设有一个离散无记忆信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.03.05.0)(321a a a x p X ， （1）求该信源的熵H(X)；
（2）对信源进行二元霍夫曼编码，计算其平均码长和编码效率；
（3）对信源进行四元霍夫曼编码，计算其平均码长和编码效率。
四、（15分）设线性分组码的生成矩阵⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=110100011010101001G ，求： （1）此(n,k)码的n=？k=？写出此(n,k)码的所有码字。
（2）对应的一致校验矩阵H ，确定最小码距，问此码能纠几位错？
（3）若接收码字为(000110)，假定接收码字只有一位错误，用伴随式法求译码的结果。
五、（10分）设对称离散信道矩阵⎥⎦
⎤⎢⎣⎡=3/13/16/16/16/16/13/13/1P ，求其信道容量C 。 六、（12分，电子信息专业）请根据给出的系统汉明码的监督矩阵
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=100101101011010011110H 写出该编码器在输入信息序列为11111010时输出的汉明码序列。
七、（12分，通信工程专业）已知(2,1,2)卷积码的单位脉冲响应是G 1=(111)和G 2=(101)，请根据G 1和G 2画出该卷积码的编码电路图和网格图。
