当前位置：文档之家 › 南航2006-2007 信息论答案

南航2006-2007 信息论答案

  • 格式：doc
  • 大小：243.00 KB
  • 文档页数：7
一.（18分）设信源X的符号集为{0，1，2}，其概率分布为 ， ，每信源符号通过两个信道同时传输，输出分别为Y，Z，两信道转移概率如图所示：
求（1）H(Y)，H(Z)；（4分）
（2）H(XY)，H(XZ)，H(YZ)，H(XYZ)；（8分）
（3）I(X;Y)，I(X;Z),I(Y;Z)；（6分）
解：
1)求信源 的熵 ；（3分）
2)写出噪声 的自协方差矩阵 ，并求噪声 的熵 ；（3分）
3)设 ，i）求 的自协方差矩阵 （2分）；ii）求信源 的熵 ；（2分）iii）求 ， ， ；（2＋2＋2分）
解：
1）
；
2)
；
3），i）
， ， ； ，
， ，
ii）
iii）
=0.7619bit
=0.5bit（或 ）
（2）相应的二元Huffman编码及其编码效率；（5分）
（3）相应的三元Huffman编码及其编码效率；（5分）
（4）若要求 ，采用定长二元码要求达到第（2）问中的编码效率，至少需要多少信源符号一起编码才能实现？（5分）
解：（1）信源符号熵
；
(2)相应的二元Huffman编码
信源符号
S1
S2
s3
S4
=0.2925bit（或 ）
，
六.（14分）设某信道的转移概率矩阵为:
求（1）若 ，求I(a1;Y);I(a2;Y);I(X;Y);( 6分)
（2）求该信道的容量和达到容量时的输入输出分布(8分)
解: (1)
比特/符号
比特/符号
比特/符号
（2）该信道为准对称信道,达到信道容量时,信道的输入分布应为等概分布,即:
.
对应的输出分布为: [3/8，3/8，1/8，1/8]
（4）信源自信息方差为：
编码效率为0.96，即
=0.109
所以
至少需要 多少信源符号一起编码才能实现。
五：（共10分）若有一个 元等概率、平稳无记忆信源 ，且规定失真函数为：
试求R(D),并划出n=2,4,8情况下的R(D)的曲线。（共10分）
解：
由 ，求得
所以
取 ，4，8，有由上图可见
无失真 时
， ，
（1）
（2）
（3）
二、（15分）设有一马氏链，初始概率分布为 ， ， ， ， , ， 。
（1）写出该信源的状态转移概率矩阵；（2分）
（2）画出状态转移图；（3分）
（3）求信源的平稳状态分布；（5分）
（4）计算平稳信源的熵 。（5分）
解答：（1）（2）
（3）
（4）
三（共10分）已知AWGN信道，信号的带宽范围为300～3400Hz，信号与噪声功率比为26dB。
此时,输入输出平均互信息等于信道容量:
比特/符号
七.(共16分)一个通信系统的信源为2维高斯信源 ，通过一个线性变化A作为一个2维并联加性高斯噪声信道的输入 ，即 ， ， ，信道的输出与输入噪声分别为 ， ，其中 为独立于输入同时又相互独立的、均值为零、方差分别为1和2的高斯噪声。已知 的均值为零，自协方差矩阵为 ，系统的模型如图所示：
S5
S6
S7
概率
020
0.19
0.18
0.17
0.15
0.10
0.02
码字
10
11
000
001
010
0110
0111
平均码长 ，编码效率
（3）相应的三元Huffman编码
信源符号
S1
S2
s3
S4
S5
S6
S7
概率
020
0.19
0.18
0.17
0.15
0.10
0.02
码字
2
00
01
0210Βιβλιοθήκη 1112平均码长 ，编码效率
1）计算该信道的最大信息传输速率；（5分）
2）若信号与噪声功率比降到10dB，且保持信道最大信息传输速率不变，则信道带宽应该变为多少？（5分）
（1）
W=3400-300=3100Hz
SNR=26dB=398
（2）
SNR=10dB=10
四.（共17分）已知离散无记忆信源如下，试求：
（1）信源符号熵 ；（2分）

合集下载

信息论与编码习题参考答案(全)

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论第三章题解

信息论第三章题解

第三章习题3.2 设一无记忆信源的符号集为{}1,0，已知信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡434110P X （1） 求消息符号的平均熵；（2） 由100个符号构成的序列，求每一序列（例如有m 个“0”和)100(m -个“1”构成）的自信息量的表达式；（3） 计算)2(中的熵。

解：（1）此消息符号的平均熵为)(8113.0)43log 4341log 41()(bit X H =+-=（2）设一特定序列含有m 个“0”和)100(m -个“1”，所以mm X p -⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛=1004341)(，3log )100(2004341log )(log )(100-+=⎪⎭⎫⎝⎛⎪⎭⎫ ⎝⎛-=-=-m x p X I mm（4） 由定义13.818113.0100)(100)(100=⨯==X H X H 。

3.3 设离散无记忆信源为 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0654321a a a a a a P X 求信源的熵，并解释为什么6log )(>X H 不能满足信源的极值性。

解：因为信源是无记忆的，所以6571.2)17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(=+++++-=-=∑Xi i x p x p X H 而log6 = 2.5850 因为107.161>=∑=i ip，所以此空间不是概率空间，H(X)不存在。

3.7 设有一个信源，它产生0，1序列的消息。

该信源在任意时间而且不论以前发生过什么消息符号，均按6.0)1(,4.0)0(==p p 的概率付出符号。

（1） 试问这个信源是否平稳；（2） 试计算)(lim ),|(),(2132X H X X X H X H N N ∞→及；（3） 试计算符号信源中可能发出的所有并写出44)(X X H 。

200907级期中考试试题及标准答案(信息论)

200907级期中考试试题及标准答案(信息论)


(5) 解： (1)
注： 题中所给的信道编码为（7，4）汉明码，可以纠正 1 个差错。 求序列熵 H ( X ) ： (5 分 )
H ( X1 , X 2 ,......, X 7 ) = H ( X 1 X 2 X 3 X 4 ) + H ( X 5 X 6 X 7 | X 1 X 2 X 3 X 4 ) ， 由检 验 方 程可 知 ， X 5 X 6 X 7 完 全由 X 1 X 2 X 3 X 4 确定， 则 H ( X 5 X 6 X 7 | X1 X 2 X 3 X 4 ) = 0 ， 所以 H ( X1 , X 2 ,......, X 7 ) = H ( X1 X 2 X 3 X 4 ) = 4H ( X 1 ) 7 7 = 4bit ， X = X1 X 2 X 3 X 4 X 5 X 6 X 7 ，所以 H ( X ) = 4bit / 序列。 (2) 求 H (X |Y ) ： (5 分 ) (5 分 ) (6 分 )
若 Y =0101110，差错序列 e 同(2)，求 X 1 X 2 X 3 X 4 ； (5 分 ) 若在信息处理过程中或无差错， 或有差错， 但差错最多为 1 比特， 差错序列 e 可表示为(1,0,…,0)， (0,1,0,…,0), … , (0,0,…,0,1)或(0,0,…,0)，且 e 与 X 独立，且等概率出现，Y = X ⊕ e ，求 H (Y ) ； (6 分 ) 求 I ( X ;Y ) 。 (4 分 )
4
对球的颜色进行三元 Huffman 编码（要求：写出编码过程、列出信源符号和码字的对应表） ； 计算平均码长和编码效率；
(4)
如果码符号集合为{0，1}，某学生哈夫曼编码后得到下表(右边)，请问是否正确，说明原因？ (6 分 )
信息论考试答案

信息论考试答案

第4章作业1. 设输入符号表与输出符号表为X ＝Y ＝{0，1，2，3}，且输入信号的分布为p (X = i ) = 1/4，i ＝0，1，2，3，设失真矩阵为0111101111011110⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦d 求D min 、D max 和R (D min )、R (D max )以及相应的编码器转移概率矩阵，并求出信源的R(D)函数，画出其曲线（取4至5个点）。

解：10110 41011A A n A P n A A n -⎡⎤⎢⎥⎡⎤-⎢⎥⎢⎥⎢⎥⎢⎥=↔==⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎢⎥-⎣⎦d有114i p n ==得：()()111011i ji ij ijA AD p P d n n n A n n n-==-⨯⨯+⨯⨯=--∑∑所以1A D =-，进而：()()1111j i ji iA A q p P n n n n n-==+-⨯=-∑()()()()()()()()()1111 ,,,,,1111 ,,1,,,11 log 1log 11log11log ,1log 1 2,1log 3j ji R D H q H p AA H H A n n n n D D H H D n n n n D Dn D D n n n n H D D D n H D D D ==--⎛⎫⎛⎫=- ⎪ ⎪--⎝⎭⎝⎭⎛⎫⎛⎫=-- ⎪ ⎪--⎝⎭⎝⎭=+--+-⨯--=----=--- ()minmin 0,2D R D bit ==，此时1000010000100001⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P()maxmax 3/4,0D R D ==，此时1000100010001000⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P2. 设输入符号为X ＝{0，1}，输出符号为Y ＝{0，1}。

输入信号的概率分布为P ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =d (1，0) =α。