信息论与编码理论1(A卷答案)
- 格式:doc
- 大小:324.50 KB
- 文档页数:6
广州大学 2016—2017 学年第 一 学期考试卷
课程 《信息论与编码理论1》 考试形式(闭卷,考试)
学院 系 专业 班级 学号 姓名_
一、 单项选择题(每题2分,总计10分) 1.当底为e 时,信道容量的单位为( C )。
A 奈特
B 哈特
C 奈特/符号
D 哈特/符号 2.下列量中( D )一定最大。
A );(Y X I
B ),(X Y I
C )|(Y X H
D ),(Y X H
3.下列( A )陈述是错误的。
A 算术编码不需要知道信源的分布
B 游程编码不需要知道信源的分布
C LZ 编码不需要知道信源的分布
D LZW 编码不需要知道信源的分布 4.下列数组中( C )不满足二个字母上的Kraft 不等式。
A (2,2,1)
B (2,2)
C (1,1,3)
D (3,3,3) 5.下列( A )是准对称信道的状态转移概率矩阵。
A ⎪⎪⎪⎪⎭⎫ ⎝⎛613
12121613
1 B ⎪⎪⎪⎭⎫ ⎝⎛5.05.05.05.05.05.05.05.05.0 C ⎪⎪⎪⎪⎪⎪⎭
⎫
⎝⎛32313231
3231 D ⎪⎪⎭
⎫ ⎝⎛2.02.08.02.08.02.0 二、填空题(每空2分,总计20分)
1.若二元离散无记忆信源25.0)0(=p ,75.0)1(=p ,则当给出10比特的信源序列,其中有4个1,其自信息为3log 4202-比特,整个序列的熵为)3log 4
3
2(102-
比特/符号。 2.若某离散信道信道转移概率矩阵为⎥
⎦
⎤
⎢
⎣⎡125.0125.05.025.0125.0125.025.05.0,则其信道容量为4
3log 352-比特/符号;转移概率矩阵为⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡5.05.04.06.06.04.0,则其信道容量为1比特/符号。
3. 两个相同的BSC 做级联信道,其信道转移矩阵分别为⎥⎦⎤
⎢
⎣⎡--p p
p p 11 , 则级联信道的信道转移矩阵为⎥⎦⎤⎢⎣⎡+---+-22222212222221p p p
p p p p p ,无穷多个级联后的矩阵为⎥⎦⎤
⎢⎣⎡5.05.05.05.0。 4.若一个信道的输入熵为5.1)(=X H ,输出熵为3.1)(=Y H ,7.0);(=Y X I ,则
=),(Y X H _2.1比特/符号_,疑义度为0.8比特/符号_,散布度为0.6比特/符号_。
5.由
三、判断题(每题2分,总计10分) 1. 概率大的事件自信息大 (⨯)
2. 若一个码字集合中的码字长度满足Kraft 不等式 ,则其必为异字头码。 (⨯)
3. Huffman 编码一定是不等长码。(⨯ )
4. 平均互信息是下凸函数。( ⨯ )
5. 对于离散无记忆信道,达到信道容量时的输入概率分布可以是不唯一的 (√) 四、计算题(60分)
1)(12分)设随机变量Y X ,的联合概率分布如下:
Y X Z ⊕=,⊕为模2加。分别求);(),|(),(),(Z X I Y X H Y H X H 。
解: X 的分布率为
则1)(=X H 比特/符号.
Y 的分布率为
则3log 4
3
2)(2-=Y H 比特/符号.
)0()0,0()0|0(====
==Y P Y X p Y X p =1,)
1()1,0()1|0(======Y P Y X p Y X p =31
)0()0,1()0|1(====
==Y P Y X p Y X p =0,)
1()1,1()1|1(======Y P Y X p Y X p = 32
)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --
=32log 210log 031log 411log 412222----=2
1
3log 432-=0.6887比特/符号.
)0()0,0()0|0(====
==Z P Z X p Z X p =31,)
1()
1,0()1|0(======Z P Z X p Z X p =1 )0()0,1()0|1(======Z P Z X p Z X p =32,)
1()1,1()1|1(======Z P Z X p Z X p =0 则
)
1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2
222
=+=+=+==X p p p X p p p X p p p X p p p Z X I =2
10log 02132
log 21211log 412131
log 4
12
2
22+++=3log 43232-比特/符号.
2)(18分)若离散无记忆信源的概率分布为
⎪⎪⎭
⎫ ⎝⎛=3.01.04.005.005.01.0654321
a a a a a a U
① 分别构造二元,三元Huffman 编码(要求码长方差最小,但不需求出),Shannon