r
H (X ) P(ai )logP(ai )
i1
H[P(a1), P(a2 ),, P(ar )]
H(P)
(2-11)
第2章 离散信源及其信息测度
2.4.2 对称性 根据式(2-11),并根据加法交换律可知,当变量P1,
P2,…,Pr的顺序任意互换时,熵函数的值保持不变,即 H (P1, P2 ,, Pr ) H (P2 , P1,, Pr ) H (Pr , Pr1,, P1) (2-12)
在数学上可证明,同时满足以上四个公理条件的函数形 式为
I (ai )
f
[P(ai
)]
l
b
1 P(ai
)
lb P(ai )
(2-7)
在式(2-7)和后面的章节中,采用以2为底的对数,所得信息量的 单位为比特。
第2章 离散信源及其信息测度
2.3 信 息 熵
2.3.1 信息熵的数学表达式 为了求得整个信源所提供的平均信息量,首先,我们应
存在的平均不确定性。例如有三个信源X1,X2,X3,它们的 信源空间分别是:
X1
P(
X
1
)
a1 0.5
0a.25,
X2
P(
X
2
)
a1 0.7
0a.23,
X3 P( X 3
)
a1 0.99
a2 0.01
(3) 用信息熵H(X)来表示随机变量X的随机性。
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 单符号离散信源的数学模型 2.2 自信息和信息函数 2.3 信息熵 2.4 信息熵的基本性质 2.5 联合熵和条件熵的分解与计算 2.6 信息熵的解析性质 2.7 离散信源的最大熵值 2.8 多符号离散平稳信源 2.9 多符号离散平稳无记忆信源及其信息熵 2.10 多符号离散平稳有记忆信源及其信息熵 2.11 信源的相关性与冗余度