第二章信息的度量
2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量
2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？
答：kkkxiqxiqXHilog1log1)(log)()(
2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(YZXIYXIYZXI
2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？
答：互信息量)()|(log);(xiqyjxiQyxI，若互信息量取负值，即Q(xi|yj)
知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xi|yj)
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：
由图示可知：
43)|(41)|(32)|(31)|(41)|(43)|(
222111110201
sxpsxpsxpsxpsxpsxp
即：
43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(
222120121110020100
sspsspsspsspsspsspsspsspssp
可得：
1)()()()(43)(31)()(31)(41)()(41)(43)(
210212101200
spspspspspspspspspspspsp
得：
114)(113)(114)(
210
spspsp
)]|(log)|()|(log)|()[()]|(log)|()|(log)|()[()]|(log)|()|(log)|()[(
信息论与编码技术
电子信息工程专业
主讲：孙静
机械电子工程系3.4 马尔可夫信源
离散信源中有一类特殊的信源，其信源
输出的符号序列中符号之间的依赖关系
是有限的，并且满足马尔可夫链的性质
，因此可用马尔可夫链来处理。
任何时刻信源符号发生的概率只与前
面已经发生过的若干个符号有关，而
与更前面的符号无关。
课上要求：课本P
643.5.23.4.1 马尔可夫信源的定义
1.【定义】若离散平稳信源在某时
刻发出的符号仅与在此之前发出
的有限个符号有关，而与更早些
时刻发出的符号无关，这类信源
称为马尔可夫（MovKov）信源。3.4.1 马尔可夫信源的定义
2.【数学描述】如果随机变量序列X中的
任一时刻(n+1)的随机变量X
n+1只依赖于
前面已经发生的n个随机变量X
1X
2…X
n
，与更前面的随机变量无关，则称这种
信源为n阶马尔可夫信源。其概率分布
表示为：
)|()|(
21211221
niiiiiiiinii
xxxxpxxxxxxxxp
3.4.1 马尔可夫信源的定义
3.【特殊说明】
①n阶马尔可夫信源只与前面发
出的n个符号有关，即关联长
度为n+1。
②当n=1时，即任何时刻信源符
号发生的概率只与前面一个符
号有关，则称为一阶马尔可夫
信源。3.4.1 马尔可夫信源的定义
二、相关概念
1.状态
【定义】把排在指定符号前面与它
相关联的n个符号定义为该符号的状
态。
【数目】n阶马尔可夫信源可以有qn
种不同的状态。3.4.1 马尔可夫信源的定义
1.状态
【举例】序列的状态是由信源的符号
构成的。
•比如二元二阶马尔可夫信源有四个
状态：{0，1}{00，01，10，11}
前一时刻输出的符号当前时刻输出的符号3.4.1 马尔可夫信源的定义
2.状态转移
设离散平稳有记忆信源的状态集为
S={S
1,S
2,…,S
J}，在每一状态下输出的符
号X∈A={a
1,a
2,…,a
q}，并认为每一时刻
，当信源发出一个符号后，信源所处的
状态将会发生转移。
【注意】本课程只研究时齐马尔可夫信
路漫漫其修远兮，吾将上下而求索
- 百度文库
11 2.1设有12枚同值硬币，其中一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？
解：分三组，每组4个，任意取两组称。会有两种情况，平衡，或不平衡。
(1) 平衡：
明确假币在其余的4个里面。从这4个里面任意取3个，并从其余8个好的里面也取3个称。又有 两种情况：平衡或不平衡。
a）平衡：称一下那个剩下的就行了。
b）不平衡：我们至少知道那组假币是轻还是重。
从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。
(2) 不平衡：
假定已经确定该组里有假币时候：
推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。
我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。
从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示为“重（3）”和“重（1）”。在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。交叉组合为：
轻（3） + 重（1） ？=======？ 轻（1） + 准（3）
来称一下。又会有3种情况：
(1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假币是轻的。那么假币在轻（3）里面，根据推论1，再称一次就可以了。
(2)右面轻：这里有两种可能：
“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。这两种情况，任意 取这两个中的一个和一个真币称一下即可。
2.11黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；
(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H∞(X);
(3) 分别求上述两种信源的剩余度，比较H(X)和H∞(X)的大小，并说明其物理含义。
解：
(1)
symbolbitxpxpXHiii/ 881.010log)7.0log7.03.0log3.0()(log)()(2
(2)
黑白p(黑/黑)=0.8e1e2p(白/白)=0.9p(白/白)=0.1p(白/黑)=0.2symbolbiteepeepepHepepepepepepepepepepepepeepepeepepepeepepeepepepijijiji/ 553.010log)9.0log9.0321.0log1.0322.0log2.0318.0log8.031()/(log)/()(3/2)(3/1)(1)()()(2)()(2.0)(9.0)()(1.0)(8.0)()/()()/()()()/()()/()()(221211212221112122222121111
(3)
%7.442log553.02log%9.112log881.02log2200122001HHHHHH
H(X) > H∞(X)
表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。
