（一）
一、填空题
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；
C )就越 大 。
5. 已知n ＝7的循环码4
2
()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式
h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，
R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??
????
；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??
?
???
。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题
1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ）
2. 线性码一定包含全零码。 （√ ）
3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×）
4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×）
5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×）
6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ）
7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ）
8. 信道容量是信道中能够传输的最小信息量。 （×）
9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ） 三、计算题
1、某系统（7，4）码
)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验
位与信息位的关系为：
231013210
210c m m m c m m m c m m m
=++??
=++??=++? （1）求对应的生成矩阵和校验矩阵；
（2）计算该码的最小距离；
（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。
解：1. 10001100
10001100101110
001101G ??
???
?=??
????
101110011100100111001H ??
??=??????
2. d min =3
3.
4. RH T
=[001] 接收出错
E =0000001 R+E=C = 1110010 (发码)
2、已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y
解: (0)2/3p x == (1)1/3p x ==
(0)1/3p y == (1)2/3p y ==
()()(1/3,2/3)H X H Y H ===0.918 bit/symbol (),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol
01
X Y
011/31/30
1/3
3、一阶齐次马尔可夫信源消息集},,{321a a a X ∈，
状态集},,{321S S S S ∈，且令3,2,1,
==i a S i i ，条件转移概率为
[]
??
??
?
?????=03132313131214141)/(i j S a P ， (1)画出该马氏链的状态转移图；
(2)计算信源的极限熵。 解：(1)
（2）???
????=++=+=++=++132132
311212331
2311411332
231141w w w w w w w w w w w w w w →???
??===3.03.04.03
21w w w H(X|S 1) =H (1/4,1/4,1/2)=1.5比特/符号 H(X|S 2)=H (1/3,1/3,1/3)=1.585比特/符号
H(X|S 3)=H (2/3,1/3)= 0.918比特/符号
()
3
|0.4 1.50.3 1.5850.30.918 1.3511
H
w H X S i i
i ==?+?+?=∑∞=比特/符号 4、若有一信源??
?
???=??????2.08.021x x P X ，每秒钟发出2.55个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输 （假设信道是无噪无损的，容量为1bit/二元符号）， 而信道每秒钟只传递2个二元符号。
（1） 试问信源不通过编码（即x 1→0,x 2→1在信道中传输） （2） 能否直接与信道连接？
（3） 若通过适当编码能否在此信道中进行无失真传输？
（4） 试构造一种哈夫曼编码(两个符号一起编码)，使该信源可以在此信道中无失真传输。
解：1.不能，此时信源符号通过0，1在信道中传输，2.55二元符号/s>2二元符号/s
2. 从信息率进行比较， 2.55*(0.8,0.2)H = 1.84 < 1*2
3. 可以进行无失真传输
4.
4
1
0.640.16*20.2*3i i i K p K ===++=∑ 1.56 二元符号/2个信源符号
此时 1.56/2*2.55=1.989二元符号/s < 2二元符号/s
5、两个BSC 信道的级联如右图所示： （1）写出信道转移矩阵； （2）求这个信道的信道容量。
解： （1）
22122211(1)2(1)112(1)(1)P PP ε
εεεεεεεε
εεεεεεε--??
-+-????===??????----+??????
（2）2
2
log 2((1))C H εε=--+
（二）
一、填空题
1.设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。 3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为
)8/7(log )100(8log 22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。 6．设DMS 为??
????=????
??03.007.010.018.025.037.0.654321
u u u u u u P U U ，用二元符号表x 1x 1x 1x 2x 2x 1x 2x 2 0.64
1
011
100101
0.64
1
}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，
则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
二、简答题
1. 设信源为??
????=??????4/34/121
x x P X X ，试求（1）信源的熵、信息含量效率以及冗余度；
（2） 求二次扩展信源的概率空间和熵。
解： （1）
)
(11)(2log /)()
3/4(log 4/34log 4/1)(222X H X H X H X H -=-===+=ηγη
（2
)9/16(log 16/9)3/16(log 16/3)3/16(log 16/316log 16/1)(2222+++=XX H
2. 什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为s r ?，则它们的
分别信道容量为多少？ 答：将H （X|Y ）称为信道},,{|Y P X X Y 的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr 。
将H （Y|X ）称为信道},,{|Y P X X Y 的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs 。
3. 信源编码的和信道编码的目的是什么？ 答：信源编码的作用：
（1）符号变换：使信源的输出符号与信道的输入符号相匹配；
（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。 信道编码的作用：降低平均差错率。
4. 什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？ 答：香农信道容量公式：)1(log )(02B
N P B P C S
S +
=，B 为白噪声的频带限制，0N 为常数，
输入X （t ）的平均功率受限于S P 。
由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 5. 什么是限失真信源编码？
答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。
三、综合题
1.设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为
???
??
?=??????8/18/38/38/1),(),(),(),(22122111y x y x y x y x P XY XY 定义一个新的随机变量Y X Z ?=(普通乘积)
（1） 计算熵H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ），以及H （XYZ ）； （2） 计算条件熵 H （X|Y ），H （Y|X ），H （X|Z ），H （Z|X ），H （Y|Z ），H （Z|Y ），H （X|YZ ），
H （Y|XZ ）以及H （Z|XY ）；
（3） 计算平均互信息量I （X ；Y ），I （X ：Z ），I （Y ：Z ），I （X ；Y|Z ），I （Y ；Z|X ）以及
I （X ：，Z|Y ）。
解：（1）
1
2log 2/12log 2/1)(12log 2/12log 2/1)(2222=+==+=Y H X H
8
/1008/308/308/1111
110101100011010001000XYZ
8
/18/71
0Z
8log 8/1)7/8(log 8/7)(22+=Z H
8
/18/302/111
100100XZ
8log 8/1)3/8(log 8/32log 2/1)(222++=XZ H
8
/18/302/111
100100YZ
8log 8/1)3/8(log 8/32log 2/1)(222++=YZ H
（2）
))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=Y X H ))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=X Y H
)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z X H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=X Z H
)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z Y H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=Y Z H
)
0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=YZ X H )
0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=XZ Y H 0)|(=XY Z H
(3)
)|()();(Y X H X H Y X I -= )|()();(Z X H X H Z X I -= )|()();(Z Y H Y H Z Y I -=
)|()|()|;(YZ X H Z X H Z Y X I -= )|()|()|;(ZY X H Y X H Y Z X I -=
2.设二元对称信道的输入概率分布分别为]4/14/3[][=X P ，转移矩阵为
[]??
?
??
?=3/23
/13/13
/2|X
Y P ，
（１） 求信道的输入熵，输出熵，平均互信息量； （２） 求信道容量和最佳输入分布； （３） 求信道剩余度。
解：（1）信道的输入熵4log 4/1)3/4(log 4/3)(22+=X H ；
??
????=6/112/14/12/1][XY P
]12/512/7[][=Y P
)5/12(log 12/5)7/12(log 12/7)(22+=Y H
)6/1,12/1(4/1)4/1,2/1(4/3)|(H H X Y H += )|()();(X Y H Y H Y X I -=
（3） 最佳输入分布为]2/12/1[][=X P ，此时信道的容量为)3/1,3/2(1H C -= （3）信道的剩余度：);(Y X I C -
3.设有ＤＭＣ，其转移矩阵为[]????
?
?????=2/16/13/13/12/16/16/13/12/1|X Y P ，若信道输入概率为[][]25.025.05
.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平
均差错率。
解：??
??
??????=8/124/112/112/18/124/112/16/14/1][XY P 最佳译码规则：?????===33121
1)()()(a b F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；
极大似然规则：??
?
??===33221
1)()()(a
b F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
（三）
一、填空题
1. 设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___1/4___时，
信源熵达到最大值，为__2__，此时各个消息的自信息量为__2 __。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能 纠正__1____个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y)___。
5._信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__编码的目的是
保证通信的安全性。
6.信源编码的目的是提高通信的有效性，信道编码的目的是提高通信的可靠性，
加密编码的目的是保证通信的安全性。
7.设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为__1/8__时，信
源熵达到最大值，为___3____。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。
9.信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的
__不均匀性__。
10.最大后验概率译码指的是译码器要在已知r的条件下找出可能性最大的发码作为译
码估值，即令=maxP( |r)_ __。
11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。
二、判断题
1.确定性信源的熵H(0,0,0,1)=1。（错）
2.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，对其进行哈夫曼编码得到的码是唯一的。
（错）
3.离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。（对）
4.非奇异的定长码一定是唯一可译码。（错）
5.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的
最小值。（对）
6.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，信源Y的概率分布为P(Y)={1/3,1/2,1/6}，则信源X和Y的熵相等。（对）
7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。（对）
8.对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，
K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。（错）
9.DMC 信道转移概率矩阵为?
?
?
?
??=3/16/13/16/16/13/16/13/1P ，则此信道在其输入端的信源分布为P(X)={1/2,1/2}时传输的信息量达到最大值。 （ 错 ） 10.设C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。 （错 ）
三、计算题 1、已知信源
1234560.20.20.20.20.10.1S s s s s s s P ????=????????
（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）
（3）计算编码信息率R ';（2分）
（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。（2分）
（1）
010
10
1
1
1
1.00.20.20.20.20.10.1
1S 2S 3S 4S 5S 6
S
编码结果为：
1234560001100101110111
S S S S S S ====== （2）6
10.420.63 2.6i i i L P ρ===?+?=∑码元
符号
（3）bit log r=2.6R L '=符号
（4）() 2.53
bit
0.9732.6
H S R L
=
=
=码元其中，
()()bit
0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号
（5）()()0.973log H S H S L r
L
η=
==
评分：其他正确的编码方案：1，要求为即时码 2，平均码长最短
2、某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s μ。计算： （1）信息传输速率t R 。（5分）
（1）()()
1
t X R H X H Y t ??=-?
?
()61111
log 4log 882211
log8log 222
31
log 2log 2222log 22bit 24100.5t H X bit R bps
s
μ=-
?-=+=+====?
3、一个一阶马尔可夫信源，转移概率为
()()()()1121122221
|,|,|1,|033
P S S P S S P S S P S S ====。
(1) 画出状态转移图。(4分)
(2) 计算稳态概率。(4分)
(3) 计算马尔可夫信源的极限熵。(4分)
(4) 计算稳态下1H ,2H 及其对应的剩余度。(4分) 解：(1)
13
(2)由公式()()()2
1
|i i
j j j P S P S
S P S ==
∑
有()()()()()()()()()
()()2
111212
2211122|31|31i i i i i i P S P S S P S P S P S P S P S S P S P S P S P S ==?
==+??
?==??
?+=??
∑∑
得()()12
341
4
P S P S ?
=???
?=?? (3)该马尔可夫信源的极限熵为：
()()()
22
11
|log |322311log log
43343311
0.578 1.599240.6810.4720.205i j i j i i j H P S P S S P S S bit nat hart ∞===-=-??-??=?+?===∑∑符号符号
(4)在稳态下：
()()2
1
3
311log log log 0.8114444i i i P x P x bit =??=-=-?+?= ???∑符号
20.2050.4720.681H H hart nat bit ∞====符号符号
对应的剩余度为
1100.811
110.1891111log log 2222H H η=-
=-=??
????-+ ? ? ??????? 2200.681110.3191111log log 2222H H η=-
=-=??
????-+ ? ? ???????
4、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。
X
Y
解：信道传输矩阵如下
|110022110022110022110
2
2Y X
P ??????????=????????????
可以看出这是一个对称信道，L=4,那么信道容量为
()()
111log 4,,0,022log |log |11
log 42log
22
1L
j i j i j C H L p y x p y x bit
=??
=- ?
??
=+=+?=∑
5、设X 、Y 是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算 (1) ()(),;H X H Z (2) ()(),;H XY H XZ (3) ()()|,|;H X Y H Z X (4) ()();,;I X Y I X Z ; 解：(1)
()11,122H X H bit ??
== ???
31(2),0.811344H H bit ??
== ???
(2) ()()()112H XY H X H Y bit =+=+=
()()()()1111|11,0, 1.52222H XZ H X H Z X H H bit ??
=+=++= ???
对
(3) ()()|1H X Y H X bit ==
()()1111|1,0,0.52222H Z X H H bit ??
=
+= ???
(4) ()()()()(),|0I X Y H Y H Y X H Y H Y =-=-=
()()(),|0.81130.50.3113I X Z H Z H Z X bit =-=-=
6、设离散无记忆信源的概率空间为120.80.2X x x P ????
=?
???
????
，通过干扰信道，信道输出端的接收符号集为[]12,Y y y =，信道传输概率如下图所示。
1
x 2
x 1
y 2
y
(1) 计算信源X 中事件1x 包含的自信息量； (2) 计算信源X 的信息熵； (3) 计算信道疑义度()|H X Y ； (4) 计算噪声熵()|H Y X ；
(5) 计算收到消息Y 后获得的平均互信息量。 解：
(1) ()1log0.80.3220.09690.223I x bit hart nat =-=== (2) ()()0.8,0.20.7220.50.217H X H bit nat hart ====符号符号符号 (3)转移概率：
联合分布：
()2231,,,31520201.4040.9730.423H XY H bit nat hart ??
= ?
??===符号符号
()()49/60,11/600.6870.4760.207H Y H bit nat hart ====符号符号符号
()()()|0.7170.4970.216H X Y H XY H Y bit nat hart =-===符号符号
(4)
()()()|0.6820.4730.205H Y X H XY H X bit nat hart =-===符号符号
(5)
()()();|0.005040.003490.00152I X Y H X H X Y bit nat hart =-===符号
（四）
一、填空题
（1） 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2） 必然事件的自信息是 0 。 （3） 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 （4） 对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编
码 。
（6） 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元
错误，最多能纠正___1__个码元错误。
（7） 设有一离散无记忆平稳信道，其信道容量为C ，只要待传送的信息传输率R__小于
___C （大于、小于或者等于），
则存在一种编码，当输入序列长度n 足够大，使译码错误概率任意小。
（8） 平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和
___编码方法___有关
二、判断题
（1） 信息就是一种消息。 （ ? ） （2） 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效
性和可靠性。 （ √ ）
（3） 概率大的事件自信息量大。 （ ? ） （4） 互信息量可正、可负亦可为零。 （ √ ） （5） 信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系
较小。 （ ? ）
（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ √ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ? ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳
码。 （ √ ）
（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? ) 三、计算题
1、黑白气象传真图的消息只有黑色和白色两种，求：
1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X 的数学模型。假设图上黑白消息出现前后没有关联，求熵()X H ；
2）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。 解：1）信源模型为 （1分）
（2分） 2）由题意可知该信源为一阶马尔科夫信源。 （2分） 由 4分）
得极限状态概率
（2分）
3分）
119.02log )
(121=-
=X H γ （1分）
447.02log )
(122=-
=∞X H γ
12γγ>。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余
度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）
2、信源空间为
1
234567()0.20.190.180.170.150.10.01X x x x x x x x P X ????
=????????
，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。
3、二元对称信道如图。 1）若()
430=
p ，()4
1
1=p ，求()X H 、()Y X H |和()Y X I ;； 2）求该信道的信道容量。
14
.3)(7
1
==∑=i i i l a p L 831.014.361
.2)(===
L
X H R
解：1）
2） 此时输入概率分布为等概率分布。
4、设一线性分组码具有一致监督矩阵????
?
?????=110101100110111000H 1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G 。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。 解：1）n=6,k=3,共有8个码字。（3分）
2）设码字
()012345C C C C C C C =ρ
由T T HC 0=得
???
??=⊕⊕⊕=⊕⊕=⊕⊕0
000135
034012C C C C C C C C C C （3分）
令监督位为
()012C C C ，则有
???
??⊕=⊕=⊕=3
404513
52C
C C C C C C C C （3分） 生成矩阵为?????
????
?101100110010011001 （2分） 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分）
4）由T
T
HR S =得
()101=S ，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）（1分）
()符号/749.0|bit Y X H =
（五）
一、填空题
1.无失真信源编码的中心任务是编码后的信息率压缩接近到 1 限失真压缩中心任务是在给定的失真度条件下，信息率压缩接近到 2 。
2.信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 3 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用熵对信源的 4 的度量，同时也是衡量 5 大小的一个尺度；表现在通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，把这两个不确定量差值用 6 来表示，它表现了通信信道流通的 7 ,若把它取最大值，就是通信线路的 8 ，若把它取最小值，就是 9 。
3 若分组码H 阵列列线性无关数为n,则纠错码的最小距离d min 为 10 。
三、计算编码题
1. 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%。（10分）
（1） 若问一位女士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问
这两个回答中各含多少信息量？从计算的结果得出一个什么结论？
（2） 如果问一位女士，问她回答（是或否）前平均不确定性和回答（是或否）后
得到的信息量各为多少？
2．黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。设黑色出现的概率为P(黑) = 0.5，白色出现的概率为P(白) = 0.5。（10分） (1) 假设图上黑白消息出现前后没有关联，求信源的H ∞熵；
(2) 假设消息只前后有关联，其依赖关系为P(白/白) = 0.8，P(黑/白) = 0.2，P(白/黑) = 0.4，P(黑/黑) = 0.6，求信源的H ∞熵;
（3) 比较上面两个H ∞的大小，并说明其物理含义。
3． 离散无记忆信源 P(x1)=8/16； P(x2)= 3/16； P(x3)= 4/16； P(x4)=1/16；（10分）
(1) 计算对信源的逐个符号进行二元定长编码码长和编码效率； (2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。 (3) 你对哈夫曼码实现新信源为等概的理解。
4．设二元对称信道的传递矩阵为????
????
??3231313
2 若P(0) = 3/4, P(1) = 1/4，求该信道的信道容量及其达到信道容量时的输入概率分布；并说明物理含义。（10分） 5．设信源???
???=?
???
??4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为????
?
?????434
1616
5，求：（10分） (1) 收到消息y j (j=1)后，获得的关于x i (i=2)的信息量；
(2) 信源X 和信宿Y 的信息熵；信道疑义度H(X/Y)和噪声熵H(Y/X)； (3) 接收到信息Y 后获得的平均互信息量。
6. 二元(7，4)汉明码校验矩阵H 为：（10分）
（1）写出系统生成矩阵G ，列出错误形式和伴随矢量表，你能发现他们之间有什么联系，若没有这个表怎么译码，
（2）若收到的矢量0000011，请列出编码后发送矢量、差错矢量、和编码前信息矢量。
（六）
一、填空题
1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为
。
4、通信系统模型如下：
5、香农公式为
为保证足够大的信道容量，可采用（1）
用频带换信噪比；（2）用信噪比换频带。
6、只要，当N 足够长时，一定存在一种无失真编码。
7、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无
穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
9、1948年，美国数学家 香农
发表了题为“通信的数学理论”的长篇论文，从而创立了
011111110100100110111010(|)
101011101001T P I ???
? ?
?=? ?? ????
列置换
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：
目录 一：实验原理----------------------------1 二：程序源代码--------------------------1 三：实验分析-----------------------------6 四：实验结论---------------------------7
赫夫曼编码 一：实验原理 哈夫曼编码的具体步骤归纳如下： ① 概率统计（如对一幅图像，或m幅同种类型图像作灰度信号统计），得到n个不同概率的信息符号。 ② 将n个信源信息符号的n个概率，按概率大小排序。 ③ 将n个概率中，最后两个小概率相加，这时概率个数减为n-1个。 ④ 将n-1个概率，按大小重新排序。 ⑤ 重复③，将新排序后的最后两个小概率再相加，相加和与其余概率再排序。 ⑥ 如此反复重复n-2次，得到只剩两个概率序列。 ⑦ 以二进制码元赋值，构成哈夫曼码字。编码结束。 哈夫曼码字长度和信息符号出现概率大小次序正好相反，即大 概信息符号分配码字长度短，小概率信息符号分配码字长度长。 C、哈夫曼编码的特点 (1)哈夫曼编码的构造顺序明确，但码不是唯一的(因以大赋1还是小的赋1而异；
(2)哈夫曼编码的字长参差不齐，硬件实现不方便； (3)只有在概率分布很不均匀时，哈夫曼编码才有显著的效果，而在信源分布均匀时，一般不使用哈夫曼编码。 二：程序源代码： #define MAXVALUE 10000 #define MAXLEAF 30 #define MAXNODE 59 #define MAXBIT 10 #define LENTH 30 #include "" #include
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）
模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求
和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。
8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量：
，，
10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？
吉林建筑大学 电气与电子信息工程学院信息理论与编码课程设计报告 设计题目：哈夫曼编码的分析与实现专业班级：电子信息工程101 学生姓名： 学号： 指导教师：吕卅王超 设计时间：2013.11.18－2013.11.29
一、设计的作用、目的 《信息论与编码》是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一，同时也是对课堂所学理论知识的巩固和补充。其主要目的是加深对理论知识的理解，掌握查阅有关资料的技能，提高实践技能，培养独立分析问题、解决问题及实际应用的能力。 通过完成具体编码算法的程序设计和调试工作，提高编程能力，深刻理解信源编码、信道编译码的基本思想和目的，掌握编码的基本原理与编码过程，增强逻辑思维能力，培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力，逐步熟悉开展科学实践的程序和方法 二、设计任务及要求 通过课程设计各环节的实践，应使学生达到如下要求： 1. 理解无失真信源编码的理论基础，掌握无失真信源编码的基本方法； 2. 掌握哈夫曼编码/费诺编码方法的基本步骤及优缺点； 3. 深刻理解信道编码的基本思想与目的，理解线性分组码的基本原理与编码过程； 4. 能够使用MATLAB 或其他语言进行编程，编写的函数要有通用性。 三、设计内容 一个有8个符号的信源X ，各个符号出现的概率为： 编码方法：先将信源符号按其出现的概率大小依次排列，并取概率最小的字母分别配以0和1两个码元（先0后1或者先1后0，以后赋值固定），再将这两个概率相加作为一个新字母的概率，与未分配的二进制符号的字母重新排队。并不断重复这一过程，直到最后两个符号配以0和1为止。最后从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即为对应的码字。 哈夫曼编码方式得到的码并非唯一的。在对信源缩减时，两个概率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在缩减中的排序将会导致不同码字，但不同的排序将会影响码字的长度，一般讲合并的概率放在上面， 12345678,,,,, ()0.40.180.10.10.070.060.050.04X x x x x x x x x P X ????=????????
《信息论与编码》课程教学大纲、课程基本信息 二、课程内容及基本要求 第一章绪论 课程内容：
1 ?信息论之父--香农；信息论与香农信息论的形成与发展；香农信息论的中心 问题及其局限性； 2．信息、消息、信号、信息的本质、信息的广义性； 3．通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1．了解信息论之父---Shannon（香农）和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2．理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3．熟悉通信系统的基本模型及各模块的主要功能。 本章重点香农信息论的中心问题、通信系统模型 本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章信源、信息量和信息熵 课程内容： 1．无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源； 2．非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息； 3．熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4．数据处理中信息的变化、连续信源熵；5．凸函数、互信息量的凸性，冗余度。 基本要求： 1．了解并掌握信源的分类与特点； 2．理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均
互信息之间的关系； 3．理解马尔可夫信源的概念、理解离散序列信源熵的概念； 4．理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质； 5．理解凸函数的含义和性质；了解凸函数在信息论中的应用。 本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质 本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章信源编码 课程内容： 1．编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2．无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3．限失真信源编码；常用信源编码--- 游程编码、算术编码、预测编码、变换编码。 基本要求： 1．理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用； 2．理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编 码的特点与编码原理； 3．掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费 诺编码原理；掌握哈夫曼编码原理； 4．了解常用限失真信源编码方法—算术编码、游程编码、预测编码及变换编码的编码原理。
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；
信息论与编码课程设计报告设计题目：判断唯一可译码、香农编码 专业班级电信12-03 学号7 学生琳 指导教师成凌飞 教师评分 2015年3月21日
目录 一、设计任务与要求 (2) 二、设计思路 (2) 三、设计流程图 (3) 四、程序运行及结果 (4) 五、心得体会 (6) 参考文献 (7) 附录：源程序 (8)
一、设计任务与要求 通过本次课程设计的练习，使学生进一步巩固信源熵、信源编码的基本原理，掌握具体的编码方法，熟悉编程软件的使用，培养学生自主设计、编程调试的开发能力，同时提高学生的实践创新能力。 1、判断唯一可译码 利用尾随后缀法判断任意输入的码是否为唯一可译码，即设计一个程序实现判断输入码组是否为唯一可译码这一功能。 2、香农编码 熟悉运用香农编码,并能通过C语言进行编程,对任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。 二、设计思路 1、判断唯一可译码 在我们学习使用了克劳夫特不等式之后，知道唯一可译码必须满足克劳夫特不等式。但是克劳夫特不等式仅仅是存在性的判定定理，即该定理不能作为判断一种码是否为唯一可译码的依据。也就是说当码字长度和码符号数满足克劳夫特不等式时，则必可以构造出唯一可译码，否则不能构造出唯一可译码。因此我们必须找到一种能够判断一种码是否为唯一可译码的方法，尾随后缀法。 尾随后缀法算法描述： 设C为码字集合，按以下步骤构造此码的尾随后缀集合F： (1) 考查C中所有的码字，若Wi是Wj的前缀，则将相应的后缀作为一个尾随后缀放入集合F0中； (2) 考查C和Fi两个集合，若Wj∈C是Wi∈Fi的前缀或Wi∈Fi 是Wj
《信息论与编码》课程论文 ——通过信息论对已有知识产生的新认识 马赛 1143031014 《信息论与编码》课程是通信专业的一门基础课。其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。 通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。 在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。下文中，列举了两个问题，同时使用信息论的角度去进行解释。 一、计算机的存储容量与信息量的联系 当今的计算机已经十分普及。存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？ 这是计算机科学的基本知识：“8 bit = 1 byte”。bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？ 在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。 我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。信息的一种解释是：对于不确定性的消除。信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。这是香农信息论对于信息量的定义。 计算机存储的依然是信息，只是信息的存储形式是01二进制数字。如果说计算机中的bit只是二元数字的话，那么这个单位就丧失了“信息”这个定义了。 用户通过互联网下载各种资料，下载的资料需要占用本地的存储空间，这是一个众所周知的例子。其实这个过程就是一个消除不确定性的过程。我们一般常识中的“空”硬盘，实际上是没有存储信息，而空间就在那里，空间中的信息有不确定，有不确定度；写入信息，实际上就是在消除不确定性，让空间中的信息确定，让其有序。这就是一种典型的信息传递过程。 计算机是2元存储结构，一个二进制符号代表1bit，根据实际计算，一个二进制符号的最大信息量即H0(X) = log22 = 1bit，这是一个将符号等同于无记忆的，每个符号之间没有联系，达到了信息量的最大值。这是最为简化的处理结果，也是最为可行的处理结果。如果严格按照信息论的角度去分析，其实每个符号之间是有联系的——各种编码、指令，如果01只是随机出现，那么只是一盘散沙。当然这是严格的理论解释，如果实际应用到存储信息的计量，那么将是不可行，计算机界的先驱是非常有远见的。 二、关于称硬币问题的思考
信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）
一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。
上海大学2011～2012学年度冬季学期试卷（A卷） 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明： 我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩
信息论与编码课程设计报告设计题目：统计信源熵与香农编码 专业班级电信 12-06 学号 学生姓名 指导教师 教师评分 2015年 3 月 30日
目录 一、设计任务与要求 (2) 二、设计思路 (2) 三、设计流程图 (3) 四、程序运行及结果 (4) 五、心得体会 (6) 参考文献 (7) 附录：源程序 (8)
一、设计任务与要求 1.统计信源熵 要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。 2.香农编码 要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。 二、设计思路 本次课程设计中主要运用C 语言编程以实现任务要求，分析所需要的统计量以及相关变量，依据具体公式和计算步骤编写语句，组成完整C 程序。 1、信源熵 定义：信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵，记为H （）。 计算公式： ) (log )(-)x (i i i x p x p H ∑= 2、香农编码过程： （1）将信源消息符号按其出现的概率大小依次排列为 n p p ≥???≥≥21p （2）确定满足下列不等式的整数码长i K 为 1)()(+-<≤-i i i p lb K p lb （3）为了编成唯一可译码，计算第i 个消息的累加概率 ∑-==11) (i k k i a p P （4）将累计概率 i P 变换成二进制数。 （5）取i P 二进制数的小数点后i K 位即为该消息符号的二进制码字。
三、设计流程图 1、统计信源熵 开始 读取给定文件 判断文件是否打开否 并且不为空 是 统计文本字符，直关闭文件 至文本字符读完。 统计同一字符(不分 大小写)出现的次数 计算字符概率 计算信源熵 输出 结束
信息论与编码课程大作业 题目：二进制哈夫曼编码 学生姓名： 学号：2010020200 专业班级： 2010级电子信息班 2013年5月18日
二进制哈夫曼编码 1、二进制哈夫曼编码的原理及步骤 1、1信源编码的计算 设有N 个码元组成的离散、无记忆符号集，其中每个符号由一个二进制码字表示，信源符号个数n 、信源的概率分布P={p(s i )},i=1,…..,n 。且各符号xi 的以li 个码元编码，在变长字编码时每个符号的平均码长为∑==n i li xi p L 1)( ； 信源熵为：)(log )()(1 xi p xi p X H n i ∑=-= ； 唯一可译码的充要条件：11 ≤∑=-n i Ki m ； 其中m 为码符号个数，n 为信源符号个数，Ki 为各码字长度。 构造哈夫曼数示例如下图所示。 1、2 二元霍夫曼编码规则 （1）将信源符号依出现概率递减顺序排序。 （2）给两个概率最小的信源符号各分配一个码位“0”和“1”，将两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结 0.60 0.15 0.09 0.30 1.00 0.60 0.03 0.30 0.15 0.40 0.05 0.04 0.03
果得到一个只包含（n-1）个信源符号的新信源。称为信源的第一次缩减信源，用s1 表示。 （3）将缩减信源 s1 的符号仍按概率从大到小顺序排列，重复步骤(2)，得到只含（n-2）个符号的缩减信源s2。 （4）重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号 的概率之和必为 1，然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。 1、3 二元哈夫曼编码流程图如下图所示。 是 是 开始 等待数据输入 判断输入的概 率是否小于零 判断概率和是 否大于1 生成一个n - 1行n 列的数组 按照哈弗曼的编码规则进行编 码 计算码长 计算编码效率 计算信源熵 显示结果 结束
" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方
建筑大学 电气与电子信息工程学院 信息理论与编码课程设计报告 设计题目：哈夫曼编码的分析与实现 专业班级：电子信息工程 101 学生： 学号： 指导教师：吕卅王超 设计时间： 2013.11.18－2013.11.29
一、设计的作用、目的 《信息论与编码》是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一，同时也是对课堂所学理论知识的巩固和补充。其主要目的是加深对理论知识的理解，掌握查阅有关资料的技能，提高实践技能，培养独立分析问题、解决问题及实际应用的能力。 通过完成具体编码算法的程序设计和调试工作，提高编程能力，深刻理解信源编码、信道编译码的基本思想和目的，掌握编码的基本原理与编码过程，增强逻辑思维能力，培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力，逐步熟悉开展科学实践的程序和方法 二、设计任务及要求 通过课程设计各环节的实践，应使学生达到如下要求： 1. 理解无失真信源编码的理论基础，掌握无失真信源编码的基本方法； 2. 掌握哈夫曼编码/费诺编码方法的基本步骤及优缺点； 3. 深刻理解信道编码的基本思想与目的，理解线性分组码的基本原理与编码过程； 4. 能够使用MATLAB 或其他语言进行编程，编写的函数要有通用性。 三、设计容 一个有8个符号的信源X ，各个符号出现的概率为： 编码方法：先将信源符号按其出现的概率大小依次排列，并取概率最小的字母分别配以0和1两个码元（先0后1或者先1后0，以后赋值固定），再将这两个概率相加作为一个新字母的概率，与未分配的二进制符号的字母重新排队。并不断重复这一过程，直到最后两个符号配以0和1为止。最后从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即为对应的码字。 哈夫曼编码方式得到的码并非唯一的。在对信源缩减时，两个概率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在缩减中的排序将会导12345678,,,,,()0.40.180.10.10.070.060.050.04X x x x x x x x x P X ????=????????
信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==
1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士