- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x2 x X 1 2 5 p( x) 0.7 0.3
2 2
y2 y1 Y 1/ 8 1/ 4 p( y) 0.64 0.36
2 2
I ( X , Y ) P( xi , y j ) log
②性质
性质1 (互信息的链法则)
I ( X 1 , X 2 ,, X n ; Y ) I ( X 1 ; Y | X i 1 , X i 2 ,, X 1 )
i 1 n
I 证明：( X 1 , X 2 ,, X n ;Y ) H ( X 1 , X 2 ,, X n ) H ( X 1 , X 2 ,, X n | Y )
I 性质3： ( X ; Y | Z ) 0 ，等号成立的充要条件是 X Y | Z 。
性质4(数据处理定理): 若 X Z Y 构成马氏链，则：
I ( X ; Y ) I ( X ; Z ), I ( X ; Y ) I (Z ; Y )
证明：∵ X Z Y ∴ I ( X ; Y | Z ) 0 (1) I ( X ; Y ) I ( X ; Y , Z ) I ( X ; Z | Y )
x
p ( x) q ( x)
p( x) log
x
q( x) p ( x)
q ( x) p( x) p( x) 1 x
q( x) p( x) 0
x x
且等号成立的充要条件是 p( x) q( x)
系1.3.1： ( X ) log ,等号成立的充要条件是 H
解：I(X;Y)=0.5487bit
2．条件互信息，联合互信息与数据处理不等式 ①定义 设R.V. X，Y，Z的联合分布为，则给定Z条件下X 和Y的条件互信息为：
P( x, y | z ) I ( X ; Y | Z ) P(Z ) P( x, y | z ) log P( x | z ) p ( y | z ) zZ x y
I ( X ;Y , Z ) I ( X ; Z ) I ( X ;Y | Z ) I(X;Z)
(2) I ( X ; Y ) I ( X , Z ; Y ) I (Z ; Y | X )
I ( X , Z ;Y ) I (Z ; Y ) I ( X ; Y | Z ) I (Z ; Y ) I (Y ; Z )
i 1 i 2
P( xi , y j ) P( xi ) P( y j )
0.2 0.36
P( xi ) P( y j | xi ) log
i 1 j 1
4 15 4 15
P( y j | xi ) P( y j )
11 15
0.7 0.8 log
0.8 0.64
0.7 0.2 log
信道
Y
译码
V
信息经过编码或译码处理后均不可能增加，只会减少。
例9 求证：当R.V. X和Z相互独立时，有：
I ( X ;Y ) I ( X ;Y | Z )
定理(数据处理不等式): 若U X Y V 构成马氏链，则：
I (U ;V ) I ( X ; Y )
证明：∵ U X Y V 构成马氏链 ∴ U X Y , U Y V 分别构成构成马氏链 ∴由性质3
I (U ;V ) I (U ; Y ) I (U ; Y ) I ( X ; Y )
p( x, y, z ) log
x y
p ( x | y, z ) p( x | z )
联合互信息为：
P( x | y, z ) I ( X ; Y , Z ) P( x, y, z ) log P( x) x y z
<注> I ( X ; Y | Z )表示R.V.Z给定后，从R.V.Y所得到的关于R.V. X的信 息量。 I ( X ; Y , Z ) 表从二维R.V.(Y，Z)所得到的关于R.V.X的信息量。
i 1 n
以上不等式表明：条件增加,R.V.的不确定性下降,对应的熵减少.
，
例8：设一批电阻，按阻值分70%是2kΩ，30%是5 kΩ ； 按功耗分64%是1/8w ，其余是1/4w ，现已知2kΩ阻值的电 阻中80%是1/8w ，问通过测量阻值可以平均得到的关于瓦 数的信息量是多少？
解：由题，设电阻的阻值为X，电阻的功率为Y，则X，Y的 概率空间为：
定义：设R.V.X，Y，Z的联合分布为 P( x, y, z) ，若
P( x, y | z ) P( x | z ) P( y | z ) 对任意 x , y , z Z 成立，
则称给定Z条件下X和Y相互独立，记作 X Y | Z 。此 时，也称X，Y，Z构成马氏链，记为： Z Y X
0.3 log
0.64
0.3 log
11 15
0.36
0.180 0.119 0.101 0.226 0.186 比特
练习：有两个硬币，一个是正品硬币，另一个是次品硬币，
次品硬币两面都是国徽。现随机抽取一枚硬币，抛掷2次。 问出现国徽的次数对于硬币的识别提供的信息量是多少？
p( x, y) log
x y
p( x, y) p ( x) p ( y )
P( X , Y ) E p ( x, y ) log P( X ) P(Y )
<注> 互信息可看成一个R.V.中包含的关于另一个R.V.的信息量， 或一个R.V.由于已知另一个R.V.而减少的不确定性。
H(X,Y)
H(X|Y)
I(X;Y)
H(Y|X)
H(X)
H(Y)
<注3> ① H ( X | Y ) H ( X ), H ( X , Y ) H ( X ) H (Y )
② H ( X i | X i 1 ,, X 1 ) H ( X i )
H ( X 1 , X 2 , , X n ) H ( X 1 )
三. 互信息与各类熵的关系
1.互信息与各类熵的关系
定理：I ( X ; Y ) H ( X ) H (Y ) H ( X , Y )
H(X ) H(X | Y)
H (Y ) H (Y | X ) I (Y ; X )
<注1> 对互信息与各类熵的关系说明
<注2> 几者关系的集合图描述
H ( X i | X i 1 ,, X 1 ) H ( X i | X i 1 ,, X 1 , Y )
i 1 i 1 n n
[ H ( X i | X i 1 ,, X 1 ) H ( X i | X i 1 ,, X 1 , Y )]
i 1
n
I ( X i ; Y | X 1 , X 2 ,, X i 1 )
X服从均匀分布: p( x)
1
, x
其中, 表示字母集 中所含元素的个数。 ————最大熵
二.互信息
1.定义 设R.V. ( X , Y ) 的联合分布为 p( x, y ) ，边缘分布分别 为：p(x) ， ( y) ，互信息 I ( X ; Y ) 定义为： q
I ( X ; Y ) D( p( x, y) || P( x) P( y))
∴ I (U ;V ) I ( X ; Y )
<注1> 性质4与数据处理不等式的应用——数据处理中信息的变化。
X 第一级处理器 Z 第二级处理器 Y
当消息通过多级处理器时，随着处理器数目的增多，输入消息与 输出消息之间的平均互信息量趋于变小，此即数据处理定理。
<注2> 一般的通信系统中
U
编码
X
2.性质 性质1（非负性） I ( X ; Y ) 0,当且仅当X与Y相互独立时， 等号成立。 证明：由定义及相互熵的性质得：
I ( X ; Y ) D( p( x, y) || P( x) P( y)) 0
其中等号成立的充要条件是 P( x, y) P( x) P( y) 即X与Y相互独立 性质2（对称性）I ( X ; Y ) I (Y ; X )
x
p( x) p( X ) E P log q ( x) q( X )
<注> 一般地，D( p || q) D(q || p)
2.性质 定理1.3.1： ( p || q) 0 且等号成立的充要条成立。 证明： D( p || q) p( x) log
i 1
n
性质2：结论： ( X ;Y | Z ) H ( X | Z ) H (Y | Z ) H ( X , Y | Z ) I
H(X | Z) H(X | Y, Z) H (Y | Z ) H (Y | X , Z ) I (Y ; X | Z )
I ( X ;Y , Z ) I ( X ; Z ) I ( X ;Y | Z ) I ( X ;Y , Z ) I ( X ;Y ) I ( X ; Z | Y ) I (Y , Z ; X ) I (Y ; X ) I ( Z ; X | Y )
信息论基础课件之三
第一章 随机变量的信息度量
§1.1 信息
§1.2 熵、联合熵、条件熵
§1.3 相对熵和互信息 §1.4 信息量的一些基本性质 §1.5 广义熵
一.相对熵
1.定义 定义在同一字母集合 上的两个概率分布 p(x)和 q(x) 的相对熵为：
D( p || q) p( x) log
