信源及信源熵习题答案

36第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、 噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？ 计算方法？ 冗余度？具有概率为p （x ）的符号x 自信息量：I （X ）- -iogp （x ） 条件自信息量：|（X i= —log p （X i y i ）平均自信息量、平均不确定度、信源熵：H （X ）二-為p （x ）log p （x ）iH (XY )=送 p (X i ,y j )|(X i y j ) 一瓦ijij联合熵： H (XY )=：Z p (X i ,y j )I(X i ,y j ^Z p (X i ,y j )log p (X i ,y j)ijij互信息： 弋pyx)亍 pyx) l(X;Y)=W p(X i , y .)log=S p(X i )p(y . X i )log j 入儿p(y j )j 入儿入p(y j )熵的基本性质：非负性、对称性、确定性2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求:（1） “3和5同时出现”这事件的自信息； （2） “两个1同时出现”这事件的自信息；（3） 两个点数的各种组合（无序）对的熵和平均信息量； （4） 两个点数之和（即2, 3, , , 12构成的子集）的熵； （5） 两个点数中至少有一个是1的自信息量。

解: （1）I (xj =-log p(xj 工「log 丄 4.170 bit181l(xj - - log p(xj - - log 5.170 bit条件熵: p (X i ,y j )lo gp (X i y j )p(X i )11116 6 6 61 181 p(x"61 36(1 1 11、 H(X)=—E p(X j )log p(xj = — 6汉 一log — +15 汉一log — 丨=4.337 bit/symbol i< 36 36 18 18 丿(4)两个点数求和的概率分布如下：X234 5 6 7 8 9 10 11 12\=V1 115 15 11 1 1P(X)広 18 12 9 36 6 36 9 12 18 36 H(X) =p(X i )log p(X i )i(1 1 11 1 1 1 1 5511)=_2汉 log +2 乂 log+2 工 log +2乂 log +2 工 log + log< 36 36 181812 12 9 936 36 6 6 J= 3.274 bit / symbol(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}11 l(x 」--log p(x 」-- log 1.71036X x 1 = 0 x 2 = 1 x 3 = 2 x 4 = 32.7设有一离散无记忆信源，其概率空间为=f 丿 <3/8 1/41/4 1/8 丿(1 )求每个符号的自信息量 (2)信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321010 021032 011 223210}，求该序列的自信息量和平均每个符号携带的信息量18I (x 1) = log 2log 21.415bit p(x 1)3同理可以求得 1(x2)二 2bit, I (x3) = 2bit, I (x4) = 3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就I =141(X 1) 131(X 2) 121(X 3) 61(X 4)=87.81bit11 12 13 14 1516 21 22 23 24 2526 31 32 33 34 3536 41 42 43 44 4546 51 52 53 54 5556 616263646566共有21种组合：其中11，22,33， 44,55, 66的概率是 1 1 X —6 6 ⑶两个点数的排列如下:1 1 1其他15个组合的概率是2 ——二—6 6 181 36p(X i )— 11 6 6 11 36bit解:2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解：四进制脉冲可以表示 4个不同的消息，例如 八进制脉冲可以表示 8个不同的消息，例如 二进制脉冲可以表示 2个不同的消息，例如 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量 H (XJ = log n = Iog4 = 2 bit/symbol 八进制脉冲的平均信息量 H (X 2) = log n = Iog8 = 3 bit/symbol 二进制脉冲的平均信息量 H (X 0) = log n = log2 = 1 bit/symbol所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2倍和3倍。

（5）接收到信息 Y 后获得的平均互信息为： I ( X ; Y ) = H ( X ) − H ( X | Y ) = 0.0075 比特/符号
I ( x1 ; y 2 ) = log
I ( x 2 ; y 2 ) = log
（3）信源 X 以及 Y 的熵为： H ( X ) = − ∑ P( x) log P( x) = −0.6 log 0.6 − 0.4 log 0.4 = 0.971 比特/符号
X
H (Y ) = −∑ P( y ) log P( y ) = −0.8 log 0.8 − 0.2 log 0.2 = 0.722 比特/符号
【3.1】 设信源 X x1 x 2 P( x) = 0.6 0.4 通过一干扰信道，接收符号为 Y = [ y1 , y 2 ] ，信道传递概率如下图所示，求 （1）信源 X 中事件 x1 和 x 2 分别含有的自信息； （2） 收到消息 y j ( j = 1,2) 后，获得的关于 xi (i = 1,2) 的信 息量； （3）信源 X 和信源 Y 的信息熵； （4）信道疑义度 H ( X | Y ) （5）接收到消息 Y 后获得的平均互信息。 解： （1）信源 X 中事件 x1 和 x 2 分别含有的自信息分别为： I ( x1 ) = log 1 = − log 0.6 = 0.737 比特 P( x1 ) 1 = − log 0.4 = 1.32 比特 P( x2 ) 3/4 x2 1/4 y2 x1 5/6 1/6 y1
I ( x 2 ; y1 ) = log
P( y1 | x2 ) 3/ 4 15 = log = log = −0.093 比特 P( y1 ) 0.8 16 P( y 2 | x1 ) 1/ 6 5 = log = log = −0.263 比特 P( y 2 ) 0.2 6 P( y 2 | x2 ) 1/ 4 5 = log = log = 0.322 比特 P( y 2 ) 0.2 4

，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。

信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。

求：（1）信源x中事件x1,和x2分别含有的自信息。

（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。

（3）信源x和信源y的信息熵。

（4）信道疑义度h（x|y）和噪声熵h（y|x）。

（5）接收到消息y后获得的平均互信息。

解：（1）由定义得：i（x1）= －log0.6=0.74biti（x2）= －log0.4=1.32biti（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]= log[p（yj|xi）/p（yj）]则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit（3）由定义显然 h（x）=0.97095bit/符号h（y）=0.72193bit/符号（4）h（y|x）=?22p（xy）log[1/p（y|x）]=??i?1j?1p（xi）p（yj|xi）log[1/p（yj|xi）]h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。

八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。

《信息论、编码与密码学》课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。

5.1设有信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321a a a a a a a X P X （1）求信源熵H(X)（2）编二进制香农码（3）计算其平均码长及编码效率解：(1)H(X)=-)(log )(21i ni i a p a p ∑=H(X)=-0.2log 20.2-0.19log 20.19-0.18log 20.18-0.17log 20.17-0.15log 20.15-0.log 20.1-0.01log 20.01H(X)=2.61(bit/sign)(2)ia i P(ai)jP(aj)ki码字a 001a 10.210.0030002a 20.1920.2030013a 30.1830.3930114a 40.1740.5731005a 50.1550.7431016a 60.160.89411107a 70.0170.9971111110（3）平均码长：-k =3*0.2+3*0.19+3*0.18+3*0.17+3*0.15+4*0.1+7*0.01=3.14(bit/sign)编码效率：η=R X H )(=-KX H )(=14.361.2=83.1%5.2对习题5.1的信源二进制费诺码，计算器编码效率。

⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛0.01 0.1 0.15 0.17 0.18 0.19 2.0 )(7654321a a a a a a a X P X 解：Xi)(i X P 编码码字ik 1X 0.2000022X 0.191001033X 0.18101134X 0.17101025X 0.151011036X 0.110111047X 0.01111114%2.9574.2609.2)()(74.2 01.0.041.0415.0317.0218.0319.032.02 )(/bit 609.2)(1.5=====⨯+⨯+⨯+⨯+⨯+⨯+⨯===∑KX H R X H X p k K sign X H ii i η已知由5.3、对信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制赫夫曼码，计算各自的平均码长和编码效率。

第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。

从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。

2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。

物理与信息工程学院 郭里婷
10
2019/2/7
例2：随机变量X表示人的性别，X=0表示男性，X=1表示女性；随即变量Y表 示是否抽烟，Y=0表示抽烟，Y=1表示不抽烟。(X,Y)的联合分布分别如下3 种情况时，求抽到的是男性给抽烟这个事件提供多大的信息量。
物理与信息工程学院 郭里婷
11
2019/2/7
物理与信息工程学院 郭里婷
12
2019/2/7
例3：设信源发出8种消息（符号），各消息等概发送，各符号分别用3位二进 码元表示，并输出消息（事件），设8个消息按自然二进制进行编码，见 p23表2-3。通过对输出码元序列的观察来推测信源的输出。假设信源发出 的消息x4，用二进码011表示， 求依次接收0，01，011后，得到的关于x4 的信息量。
X x1 (红), x2 (白) P 0.8, 0.2
物理与信息工程学院 郭里婷
2
2019/2/7

单符号无记忆连续信源 例2：一节5V的干电池，测电压。电压可以看成单符号无记 忆连续信源。消息数无限多.
物理与信息工程学院 郭里婷
3
2019/2/7
信息论与编码
第二章 信源熵 例题
福州大学物理与信息工程学院 郭里婷
物理与信息工程学院 郭里婷
1
2019/2/7
第二章 第一节例题

单符号无记忆离散信源 例1：一个布袋中有100个球，其中80个红色，20个白色。随 机摸取一个球，看颜色。球的颜色可以看成单符号无记忆离 散信源。消息数量为2，红白消息的概率分别为0.8和0.2。
X x1 x1 , x1 x2 , x2 x1 , x2 x2 P 0.64, 0.16, 0.16, 0.04

习题3-1（情况二：认为事件“0/0”“1/1”不会出现；）
解：设X={S1=“0”， S2=“1”}, （1） Y={ t1=“0” ， t2=“1”};
H ( X ) H (Y ) [0.8 log2 0.8 0.2 log2 0.2] 0.72bit / 符号
序列熵： 而 即：
p(1) [a(1) d (1)] max [a(1) d min] max
由于 t (1) [a(1) d min],
(6 8) (6 8)
且d (1) a(1) t (1)为确定值
H ( X Y ) H ( X ) H (Y / X )
n 2 m2 i 1 j 1 n 2 m2 i 1 j 1
H (Y / X ) rij log2 (rij / p(s i )) rij log2 Pij
即：
[r11log2 P 11 r12 log2 P 21 r 21log2 P 12 r 22 log2 P 22 ]
n 2 m2 i 1 j 1 n 2 m2 i 1 j 1
H (Y / X ) rij log2 (rij / p(s i )) rij log2 Pij
即：
[r11log2 P 11 r12 log2 P 21 r 21log2 P 12 r 22 log2 P 22 ]
信源熵的计算与理解习题3及详细解答
公式：
习题3-1（？）
解：设X={S1=“0”， S2=“1”}, Y={ t1=“0” ， t2=“1”};
（1）
H ( X ) H (Y ) [0.8 log2 0.8 0.2 log2 0.2] 0.72bit / 符号

600
1030 3408 2520
382
489 1808 859
3.137
3.1595 3.1415929 3.1795
利用蒙特卡罗(Monte Carlo)法进行计算机模拟. 取a 1, b 0.85. 单击图形播放/暂停 ESC键退出
二
概率的公理化定义
概率 P 是在事件域 上有定义的集合函数,它
§1.4
一
概率的公理化定义及概率的性质
几何概率 古典概型中试验结果是有限的，但许多问题试验
结果是无限的，一般的情况是不易解决的，下面考虑 所谓的“等可能性”问题. 在一个面积为 S 的区域 中,等可能地投点.这 里“等可能”的确切意义是:设在区域 中有任意一个 小区域 A ，如果它的面积为 S A，则点落入 A 中的可 能性大小与 S A成正比，而与 A 的位置和形状无关。
所以 1 P ( S ) P ( A A) P ( A) P ( A) . P ( A) 1 P ( A).
(6) ( 加法公式) 对于任意两事件 A, B 有 P ( A B ) P ( A) P ( B ) P ( AB ).
证明 由图可得
A B A ( B AB),
通常,在
代数 上有定义的非负、可列可加的
上
集函数称作是 上的测度.概率不过是事件域
的一个规范化的测度.
一般地描述一个随机试验的数学模型,应该有 三件东西: (1) 样本空间 (2) 事件域 (3) 概率(上的规范测度) P 三者写成 ( , , P) 并称它是一个概率空间.
会面问题
例7 甲、乙两人相约在 0 到 T 这段时间内, 在预 定地点会面. 先到的人等候另一个人, 经过时间 t ( t<T ) 后离去.设每人在0 到T 这段时间内各时刻

6、已知离散随机变量 X 和 Y，及相应的熵 H(X)、H(Y)、H(XY)、 H(X/Y)、H(Y/X)则，X 和 Y 之间的平均互信息 I(X;Y)=（ ）
A、 H(XY)-H(Y)； B、 H(XY)-H(X)； C、 H(X)-H(X/Y)； D、 H(X)-H(Y/X)
7、已知离散随机变量 X 和 Y，及相应的熵 H(X)、H(Y)、H(XY)、 H(X/Y)、H(Y/X)则，X 和 Y 之间的平均互信息 I(X;Y)=（ ）
期望（或者概率统计/加权平均） ，在数学上表达为
H XY p( xi y j )I ( xi y j ) p( xi y j ) log p( xi y j ) 。
i 1 j 1 i 1 j 1
n
m
n
m
7. 条件熵是联合离散符号集合 XY 上，条件自信息量的的数学期望（或者概 率统计/加权平均） ，在数学上表达为
是互信息在对应联合概率空间上的数学期望（概率统计平均/概率加权平 均） ，也具有对称性 I (X; Y) I (Y; X) ，有三种表达形式：1）
I ( X; Y) H X H X / Y ；2） I (Y; X) H Y H Y / X ；3） I ( X; Y) H X H Y H XY 。
H X Y p ( xi y j )I ( xi y j ) p ( xi y j ) log p ( xi y j )
i 1 j 1 i 1 j 1
n
m
n
mቤተ መጻሕፍቲ ባይዱ
8. 平均符号熵是离散平稳信源输出 N 长的信源符号序列中平均每个信源符号 所携带的信息量称为平均符号熵，记为 H N X ，数学上表达为

解:
(1)
(2)
(3)
H(X) > H2(X)
表示得物理含义就是:无记忆信源得不确定度大与有记忆信源得不确定度,有记忆信源得结构化信息较多,能够进行较大程度得压缩。
2、12 同时掷出两个正常得骰子,也就就是各面呈现得概率都为1/6,求:
(1) “3与5同时出现”这事件得自信息;
(2) “两个1同时出现”这事件得自信息;
第二章:
2、1 试问四进制、八进制脉冲所含信息量就是二进制脉冲得多少倍？
解:
四进制脉冲可以表示4个不同得消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示8个不同得消息,例如:{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同得消息,例如:{0, 1}
假设每个消息得发出都就是等概率得,则:
若把这些频度瞧作概率测度,求:
(1) 忙闲得无条件熵;
(2) 天气状态与气温状态已知时忙闲得条件熵;
(3) 从天气状态与气温状态获得得关于忙闲得信息。
解:
(1)
根据忙闲得频率,得到忙闲得概率分布如下:
(2)
设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z
(3)
2、15 有两个二元随机变量X与Y,它们得联合概率为
(1) 求符号得平均熵;
(2) 有100个符号构成得序列,求某一特定序列(例如有m个“0”与(100m)个“1”)得自信息量得表达式;
(3) 计算(2)中序列得熵。
解:
(1)
(2)
(3)
2、14 对某城市进行交通忙闲得调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现得相对频度如下:
(2) 若从中抽取13张牌,所给出得点数都不相同能得到多少信息量？

y信道传输的平均信息量有扰离散信道结论因信道有扰而产生的平均信息量称噪声熵反映了信道中噪声源的不确定度唯一地确定信道噪声所需要的平均信息量hyy的先验不确定度hyx发出x后关于y的后验不确定度在已知x的条件下对于随机变量y存在的平均不确定度发出x前后y不确定度的平均减少量可看作在有扰离散信道上传递消息时唯一地确定接收符号y所需要的平均信息量hy减去当信源发出符号x为已知时需要确定接收符号y所需要的平均信息量hyx
1. 离散信源熵 (平均自信息量/无条件熵)
[定义] 自信息量的数学期望为信源的平均信息量，记为：H（X）。
H(X)=E[I(xi)]= –∑p(xi)log2 p(xi)
——平均不确定度的度量、体现: 总体平均
[单位]
二进制:bit/(信源)符号，或bit/(信源)序列 [含义]信息熵具有以下三方面物理含义： ⑴ 表示信源输出前，信源的平均不确定性 ⑵ 表示信源输出后，每个符号所携带的平均信息量 ⑶ 表示信源的的随机性（不同的信源有不同的统计特性） 信息熵的意义： 信源的信息熵是从整个信源的统计特性来考虑的。它是从 平均意义上来表征信源的总体特性的。对于某特定的信源， 其信息熵只有一个。不同的信源因统计特性不同，其信息熵 也不同。
√
（后续章节）
一、概述
⒈ 信息的一般概念 一个人获得消息→消除不确定性→获得信息。 ⒉ 信息度量的定性分析 事件发生的概率越大，不确定性越小，该事件 包含的信息量越小； 事件发生的概率越小，不确定性越大，该事件 包含的信息量越大； 如果一个事件发生的概率为1，那么它包含的 信息量为0； 两个相互独立事件所提供的信息量应等于它们 各自提供的信息量之和。
2.2.1
自信息量
1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。

解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。

该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。

验证在该信道上每个字母传输的平均信息量为0.21比特。

证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。

1、 熵 是香农信息论最基本最重要的概念。

2、 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

3、 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

4、 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

5、 对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

6、 若一离散无记忆信源的信源熵H （X ）等于4.2，对信源进行等长的无失真二进制编码，则编码长度至少为 5 。

7、 同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和6同时出现”这件事的自信息量是 log 218或（1+2 log 23）。

8、 一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 52log 2 。

9、 具有一一对应关系的无噪信道的信道容量C= log 2n 。

10、 信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。

11、 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小12、 平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。

13、 率失真函数对允许的平均失真度是 单调递减和连续的 。

14、 对于离散无记忆信源的率失真函数的最大值是 log 2n 。

15、 信源编码的目的是： 提高通信的有效性 。

16、 对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加 2 个概率为0的消息。

17、 对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。

18、 游程序列的熵 等于 原二元序列的熵。

19、 n 位重复码的编码效率是 1/n 。

20、 若纠错码的最小距离为d min ，则可以纠正任意小于等于t= ⎥⎦⎥⎢⎣⎢-21min d 个差错。

第1章 绪论1-2 设信源X 由4个符号a,b,c,d 组成，各符号出现概率分别为3/8，1/4，1/8，1/4，每个符号的出现是独立的，求（1）信源熵H(X)；(2)一个消息babcacaddabbcdcaabdcb 的信息量I 。

解：（1）符号/bit .log log log log )x (p log )x (p )x (H i i i 906141418181414183832222241=----=-=∑= （2）4148154168362222412log log log log )x (p log N I i i i ----=-=∑=bit ..494381512498=+++=若 bit ..)x (H 0264021906121=⨯=⨯个符号 是统计平均，与题意不符，为错的。

1-4 八进制数字信号在3分钟内共传送72000个码元，求码元速率和每个码元所含的信息量。

解：码元速率： B R B 40060372000=⨯=每个码元所含的信息量：bit log I 382==1-5 已知信源X 含有两个符号x 1，x 2，它们的出现概率分别为p(x 1)=q ，p(x 2)=1-q ，设信源每秒向信道发出1000个符号，求此无扰离散信道的信道容量。

解：符号/bit )q (log )q (q log q )x (p log)x (p )x (H i i i----=-=∑=1122212当21=q 时，信源熵有最大值：符号/bit H max 1= 每秒发送1000个符号，所以最大信息速率：s /bit R max b =⨯=10001信道容量：s /bit R C max b 1000==第2章 预备知识2-4 （a ）试写出图P2-3（a ）所示方波波形的复数傅里叶级数表示式；（b ）用（a ）中所得结果写出图P2-3（b ）所示三角形波的复数傅里叶级数表示式。

解：（a ）t n j n e n Aj t f 0)12(1)12(2)(ωπ+∞-∞=∑⋅+= （b ）∑∞-∞=+⋅++=n t n j e n AT AT t f 0)12(22002)12(4)(ωπ2-9 已知)(t f 的频谱函数如图P2-5所示，画出t t fcos )(ω的频谱函数图，设τωω50=。

4。

1 某集源按P （0)=3/4，P(1）=1/4的概率产生统计独立的二元序列.(1) 试求N 0，使当N>N 0时有： P ｛｜I(a i )/N －H(S ）｜ ≥0.05}≤0.01其中H （S)是信源的熵。

(2)试求当N= N 0时典型序列集G εN 中含有的信源序列个数.解：(1) H(S)= —∑Pi ㏒Pi= -3/4㏒(3/4)—1/4㏒(1/4） =0.811 比特/符号根据契比雪夫不等式，对于任意ε＞0，当N ＞N0时，P ｛∣I(αi)/N – H(S ）∣≥ε｝≤D[I(Si ）］/N ε2现有ε=0.05,欲证原式，只要 D ［I(Si ）]/N ε2≤0。

01根据信源，D ［I （Si)]=∑P （Si ）［㏒P(Si)］2– H 2（S)=3/4（㏒3/4)2+1/4（㏒1/4)2—(0。

811)2=0。

471∴N0= D[I(Si)]/0。

01ε2=0.471/0。

01×（0.05)2=18840(2) 序列G εN 是所有N 长的ε典型序列集合，（1-δ）2N ［H （S ）—ε]≤‖G εN ‖≤2N[H （S ）-ε]0.99×214342。

5≤‖G εN ‖≤216226。

54。

2 设无记忆二元信源，其概率为P1=0.005, P0=0。

995.信源输出N ＝100的二元序列.在长为N ＝100的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。

（1）求码字所需的最小长度。

（2）计算式（4.27a ）中的ε。

(3）考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率PE 是多少？若从契比雪夫不等式（4。

22）考虑，PE 应是多少？试加以比较。

解：（1）无记忆二元信源()⎢⎣⎡⎥⎦⎤=⎢⎣⎡⎥⎦⎤005.0995.01,0i s P S N=100的扩展信源()()()()()⎢⎢⎢⎣⎡⎥⎥⎦⎤⨯⨯=====⎢⎢⎣⎡⎥⎦⎤--N N N N NN N N i N N N P S 005.0,005.0995.0005.0995.0,995.0111,1011010001121221，，，，，－ ααααα 现只对含有3个或小于3个“1”的各信源序列构成一一对应的一组二元等长码。