信息论 互信息量.ppt

信息熵互信息
信息熵和互信息是信息论中两个重要的概念。

1.信息熵是衡量随机变量不确定性的度量。

信息熵越高，随机变量不确定性越
大。

2.互信息是衡量两个随机变量相关性的度量。

互信息越大，两个随机变量相关
性越大。

信息熵和互信息的关系可以用以下公式表示：I(X;Y)=H(X)-H(X|Y)
其中
●I(X;Y)是随机变量X和Y的互信息。

●H(X)是随机变量X的信息熵。

●H(X∣Y)是随机变量X的条件信息熵，给定随机变量Y。

该公式表明，互信息等于随机变量X的信息熵减去随机变量X的条件信息熵。

换句话说，互信息衡量的是随机变量X的信息熵中，不能通过随机变量Y来解释的那部分。

信息熵和互信息在许多领域都有应用，例如数据压缩、机器学习和信息检索。

以下是一些信息熵和互信息的应用示例：
●数据压缩：可以使用信息熵来衡量数据中的冗余程度。

冗余越大，数据压缩
的空间越大。

●机器学习：可以使用互信息来衡量特征之间的相关性。

相关性越大，特征越
有可能一起出现。

●信息检索：可以使用互信息来衡量文档之间的相关性。

相关性越大，文档越
有可能包含相同的信息。

信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35

ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？

Tianjin Polytechnic University
自信息量 ①自信息量
单符号离散信源的数学模型
信源的描述方法 单符号离散信源 单符号离散信源的数学模型

Company Logo
Tianjin Polytechnic University
单符号离散信源的数学模型
Tianjin Polytechnic University
例题
例题:写出相应的数学模型 (1)某二元信源只含有0和1两个消息,发送1的概率是 0.99,而发送0的概率是0.01 解:
X 1 P ( X ) 0.99 0 0.01
(2)某二元信源只含有0和1两个消息,发送1和0的概率 均是0.5
自信息的定义
若噪声太大, 信宿收到受干扰的信息后,对某信息 产生的不确定性依然存在或一点也未消除,则信宿 获得较少的信息或者说一点也没有获得信息.
自信息 I ( xi ) 的定义: 信源中某个符号 x i 的出现所带来的信息量
Tianjin Polytechnic University
自信息的定义
1 2 9 X 0 P ( X ) 0.1 0.1 0.1 0.1
(4)信源只发送一种消息,即永远发送1或者永远发送0
X 0 P ( X ) 1 X 1 或 P ( X ) 1

其不确定性 I ( xi )
Tianjin Polytechnic University
自信息的定义
自信息 I ( xi ) 满足以下几条公理:
(4)可加性:若
p( xi y j ) p( xi ) p( y j )
I ( xi y j ) I ( xi ) I ( y j )