桂电信息论与编码试卷
- 格式：doc
- 大小：621.00 KB
- 文档页数：7
假设黑白消息出现前后有关联，其依赖关系为：，
，，，求其熵；
2.二元对称信道如图。
1）若，，求和；
2）求该信道的信道容量和最佳输入分布。
3.信源空间为
试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s ，在带宽为4kHz 的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz 。
试求： （1）无差错传输需要的最小输入功率是多少？
（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
四、（5'）证明：平均互信息量同信息熵之间满足
I(X;Y)=H(X)+H(Y)-H(XY) 证明：
()()()
()
()()()()
()()
Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X
X
Y
j i j i Y
i j i X
Y
i j i j
i
-=⎥⎦
⎤
⎢⎣⎡
-
--==
∑
∑∑
∑
∑∑log log log
; （2分）
同理
()()()X Y H Y H Y X I -=; （1分） 则
()()()Y X I Y H X Y H ;-= 因为
()()()X
XY
H+
H
=（1分）
Y
H
X
故
()()()()Y
H;
XY
-
+
=
H
X
I
Y
X
H
即
()()()()
X
I-
=
;（1分）
+
Y
H
XY
H
Y
H
X
五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵()X
H；
2）假设黑白消息出现前后有关联，其依赖关系为，，。
，，求其熵()X
H
∞
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
解：1）信源模型为（1分）
（2分）
2）由题意可知该信源为一阶马尔科夫信源。
（2分）
由
（4分）
得极限状态概率
（2分）
（3分）
3）
119
.02log )(121=-
=X H γ （1分）
447
.02
log )(122=-
=∞X H γ （1分）
1
2γγ>。
说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。
而信源冗余
度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。
（2分）
六、（18’）.信源空间为
1234567()0.2
0.19
0.18
0.17
0.15
0.1
0.01
X x x x x x x x P X
⎡⎤⎡⎤
=⎢
⎥⎢⎥⎣⎦⎣⎦
，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。
14.3)(7
1
==
∑
=i i i l a p L 831
.014
.361.2)(===
L
X H R
七（6’）.设有一离散信道，其信道传递矩阵为⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡2/16
/13
/13
/12/16/16/13/12
/1，并设⎪⎪⎪
⎩
⎪
⎪⎪⎨⎧
===41
)(21)(41)(3
21x p x p x p ，
试分别按最大后验概率准则与最大似然译码准则确定译码规则，
并计算相应的平均错误概率。
1）（3分）最小似然译码准则下，有，
2）（3分）最大后验概率准则下，有，
八（10'）.二元对称信道如图。
1）若()4
30=
p ，()4
11=
p ，求()X H 、()Y X H |和()Y X I ;；
2）求该信道的信道容量。
解：1）共6分
2）， （3分）此时输入概率分布为等概率分布。
（1分）
九、（18'）设一线性分组码具有一致监督矩阵⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡=11
1
1
100110111000
H 1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G 。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。
解：1）n=6,k=3,共有8个码字。
（3分） 2）设码字
()
012345C C C C C C C =
由T
T
HC
0=得
⎪⎩⎪
⎨⎧=⊕⊕⊕=⊕⊕=⊕⊕0
000
135034012C C C C C C C C C C （3分）
令监督位为
()012C C C ，则有
()符号
/749.0|bit Y X H =
⎪⎩⎪
⎨⎧⊕=⊕=⊕=3
40451352C
C C C C C C C C （3分）
生成矩阵为⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡10
1
1
110010011001
（2分）
3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。
（4分） 4）由T
T
HR S =得
()101
=S ，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为
（101001）（1分）。
