《信息传输理论与编码》复习提纲
第2章、信息的统计度量
1、自信息量、条件自信息量、平均自信息量（熵）、平均条件自信息量（条件熵）等物理量的含义理解和计算；
2、互信息量、条件互信息量、平均互信息量、平均条件互信息量等物理量的含义理解和计算；
第3章、离散信源
1、离散无记忆信源及其扩展信息的熵的计算；
2、离散平稳信源的熵的计算；（极限熵）
3、马尔可夫信源的熵的计算；（利用极限熵）
第4章、离散信道及其容量
1、离散无记忆信道及其扩展信道的相关概念；
2、二进制对称（BSC）信道、无损信道、确定信道、无损确定信道、离散对称信道的信道容量计算；
第5章、无失真信源编码
1、唯一可译码的判别及码树；
2、香农、费诺、哈夫曼二进制编码；
第6章、有噪信道编码
1、最大后验概率译码规则、最大联合概率译码规则；
2、极大似然译码规则；
3、最小距离译码规则
第7章、限失真信源编码
1、失真测度
2、信息率失真函数的定义域及值域的计算；
第9章、纠错编码
1、线性分组码的检错、纠错的能力；
2、线性分组码的编码、译码。
课后习题
教材：《信息理论基础（第4版）》，周荫清主编，北京航空航天大学出版社。
2.1 2.10 2.18
3.1 3.7 3.10 3.16
4.1 4.20
5.1 5.7 5.9 5.10
6.1
7.2
9.1 9.2 9.10
部分习题参考答案
2.1
解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A，则A的发生有两种情况：甲3乙5，甲5乙3。因此事件A发生的概率为p(A)=(1/36)*2=1/18
故事件A的自信息量为
I(A)=－log2p(A)=log218=4.17 bit
(2)设“两个1同时出现”为事件B，则B的发生只有一种情况：甲1乙1。因此事件B发
生的概率为p(B)=1/36
故事件B 的自信息量为
I(B)=－log 2p(B)=log 236=5.17 bit
(3)设“两个点数中至少有一个为1”为事件C ，则
36
1111361)(=⨯=C p I(C)=-log 2p(C)=1.710bit
2.2
解：(1)红色球x 1和白色球x 2的概率分布为
⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡212
1)(21
x x x p X i 比特 12log *21*2)(log )()(221
2==-=∑=i i i x p x p X H (2)红色球x 1和白色球x 2的概率分布为
⎥⎥⎦
⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100
199100log *10099)(log )()(22212=+=
-=∑=i i i x p x p X H (3)四种球的概率分布为
⎥⎥⎦
⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321
x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特 2.10
解：1个符号的平均自信息量为
∑==-=4
191.1)(log )()(i i i bit x p x p X H
60个符号构成序列的平均自信息量为(可以看成60次扩展) H(X 60)=60H(X)=114.6bit
2.18
解：(1)
sym bol
bit y p y p Y H y x p y x p y p y x p y x p y p sym bol
bit x p x p X H y x p y x p x p y x p y x p x p j j j i
i i / 1)(log )()(2
18183)()()(2
18381)()()(/ 1)(log )()(2
18183)()()(2
18381)()()(22212121112212221111=-==+=+==+=+==-==+=+==+=+=∑∑
Z = XY 的概率分布如下：
sym bol bit z p Z H z z Z P Z k
k / 544.081log 8187log 87)()(818710)(221=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===⎥⎦⎤⎢⎣⎡∑
symbol bit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k
k i k i / 406.181log 8183log 8321log 21)(log )()(81
)()()
()()(835.087)()()()
()()(5
.0)()(0
)()
()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=
-=+====+=∑∑
sym bol bit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j k
k j k j / 406.181log 8183log 8321log 21)(log )()(81
)()()
()()(8
35.087)()()()
()()(5
.0)()(0
)()
()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=
-=+====+=∑∑
