信息论第二章 信息的度量 PPT课件

量，用I(xi ; yj )表示： 。
I ( xi ;
yj)
I(xi )
I ( xi
yj)
log (xi y j )
q(xi )
（2-6）
称(2-6)式为事件xi和事件yj之间的互信息量。
注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别
在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
一个事件的自信息量就是对其不确定性的度量。 互信息量则表明了两个随机事件的相互约束程度。
对于随机事件集X = {x1，x2，…，xi，…，xI}中的随机事 件xi，其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率 记为p(xi yj)，则q(xi) ，p(xi yj)应满足：
qiI(1xqi )(xi
知，在接收过程中，每收到一个数字，各消息的后验概率都相应地
发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，
计算信息量I(x4;100)。
表2-4为7个三位二进制数对应的各种概率。
信源消 息
码字
消息先验 概率
消息后验概率 收到1后 收到10后 收到100后
x0
000
1/16
0
0
0
x1
001
4.联合自信息量和条件自信息量间的关系
联合自信息量和条件自信息也满足非负和单调 递减性 ，同时，它们也都是随机变量。
自信息量、条件自信息量和联合自信息量之 间有如下关系式：
I (aibj ) log p(aibj ) log p(ai )p(bj ai ) I (ai ) I (bj ai ) log p(bj )p(ai bj ) I (bj ) I (ai bj )
)
x1 1 3
x2 1
6
x3 1 2
计算出各事件的自信息量列表2-1如下：
消息xi
概率分 布q (xi) 自信息 量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量具有下列性质:
1 I (ai )是非负值。
图2.1 对数曲线
2 当p(ai ) 1时，I (ai ) 0 3 当p(ai ) 0时，I (ai ) 4 I (ai )是p(ai ) 的单调递减函数。
自信息量
自信息量I(xi)代表两种含义：
1.事件xi发生以前，表示事件发生的先验不确定性 2.当事件xi发生以后，表示事件xi所能提供的最大 信息量（在无噪情况下）
2.联合自信息量
XY P( XY
)
a1b1, p(a1b1),
, ,
a1bm , p(a1bm
),
, ,
anb1, p(anb1),
0 )
1
i
1,2,
,I
p(xi y j ) 0
I
J
p(xi y j ) 1
i1 j1
相应的条件概率为
( xi y j )
p(
y
j
xi )
p( xi y j )
( y j )
p( xi y j )
q( xi )
2．1．1 自信息量和条件自信息量
信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减少的量
自信息量的单位与log函数所选用的对数底数有关，
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
当p(0) p(1) 1 时，
2
有
:
I
(0)
I
(1)
log2
1 2
log
2
2
1bit
当p(0) p(1) p(2) p(3) 1 时，
log 2 3 log 4 5 log 1 log 2 1
12
23
45
(比特)
)
也可直接计算出：
I (x4 ;100)
log
p(x4 100) p(x4 )
log 1 12
1
(比特
2．2 离散集的平均自信息量
熵
信
源
条
熵
联
件
合
熵
熵
2．2 离散集的平均自信息量
1．平均自信息量(熵)
无记忆信源的平均自信息量定义为各消息自信息量的概
，这一
I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2．1．2 互信息量和条件互信息量
1.互信息量
信 源 符 号 X={x1，x2，…，xI} ， xi∈{a1,a2,…,ak} ，i = 1,..., I。
信 宿 方 接 收 到 符 号 Y = {y1，y2，…，yJ}，
（2-11）
3．互信息量的性质
（1）互易性 ————对称性
I(xi ;yj )= I(yj ; xi)
(2-12)
（2）可加性：
I(u1;u2u3 uN ) I(u1;u2) I(u1;u3 u2)
I(u1;ui u2 ui1)
I(u1;uN u2 uN1)
（3）当xi ,yj统计独立时，互信息量I(xi ;yj) = 0及条件互
【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个 单元住有12户，甲要到该住宅区找他的朋友乙，若：
1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到 多少信息？
2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到 乙的概率又有多大？他能得到多少信息？
用xi代表单元数，yj代表户号：
信息量 I(xi; yj zk ) 0
（4） 互信息量I(xi ;yj)可以是正数，也可以是负数。
（5）两个事件的互信息量不大于单个事件的自信息量
，即有：
I
(
xi
;
y
j
)
I (xi I(yj
) )
（2-13）
【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其 对应编成7个三位二进制数000，001,…,110。各消息的先验概率已
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I
(xi
;
y
j
)
log
p(xi y j )
q(xi )( y j
)
I
(xi
)
I
(
y
j
)
I
(xi
y
j
)
(2-7)
I(xi ;
yj
)
log
p(y j xi ) (y j )
b.信息量应具有可加性：对于两个独立事件， 其信息量应等于各事件自信息量之和；
c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息；
d.当q(x)=0时，I(x)→∞：表示不可能事件 一旦发生，信息量将无穷大。
综合上述条件，将自信息量定义为:
I (x) log q(x) (2-1)
+ I (u1; ui︱u2 … u i-1)+ … + I (u1; uN︱u2 … uN -1)
（2-10）
2．条件互信息量
三维X Y Z联合集中，在给定条件zk的情况下, xi , yj的互信息量I(xi ;yj︱zk )定义为：
I(xi ; y j
zk ) log
p(xi y j zk ) p(xi zk )
(i 1,2, , n; j 1,2, , m)
将事件互信息量的概念推广至多维空间： 在三维X Y Z联合集中，有：
I(xi ; yj zk)= I(xi ; yj )+ I(xi; zk︱yj)
（2-9）
类似，在N维U1 U2 … UN联合空间,有： I (u1; u2u3 … uN ) = I (u1; u2 )+ I (u1; u3︱u2) + …
后验不定度
I (aibj )
log
1 p(aibj )
这样，通信后流经信道的信息量， 等于通信前后不定度的差
I(a i ; b j) I`(a ib j) - I(a ib j)
log 1 log 1
p(ai ) p(bj )
p(aibj )
log p(aibj ) p(ai ) p(bj )
将某事件发生所得到的信息量记为I(x)，I(x)应该是 该
事件发生的概率的函数，即 I(x)=f[q(x)]
信息量
自信息量
联合 自信息量
条件 自 信息量
1．自信息量 直观地看，自信息量的定义应满足以下四点： a. I(x)应该是q(x)的单调递减函数：概率小
的事件一旦发生赋予的信息量大，概率大的 事件如果发生则赋予的信息量小；
（1）甲找到乙这一事件是二维联合集X Y上的等概分
布
p( xi
y
j
)
1 60
，这一事件提供给甲的信息量为
I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特）
（2）在二维联合集X Y上的条件分布概率为 事件提供给甲的信息量为条件自信息量
p( y j
xi
)
1 12
代入式自信息量的公式就有
I (aibj ) log p(ai ) log p(bj )
I (ai ) I (bj )
（2 - 4）
3.条件自信息量