信息论基础及应用第2章 信源及其信息的统计度量(1)_2.1~2.3

i 1 M i j 1
N
M
j
) 1, p( xi | y j ) 1,
i 1 N
N
p( y
j 1
N
j
| xi ) 1, p( xi , y j ) 1
j 1 i 1
M j
M
(3)
p( x , y
i 1 i
) p( y j ), p( xi , y j ) p( xi )
H(x) 1
p 0
2013-10-26
1/2
1
22
3. 熵函数的性质
(1) 非负性 H(x) ≥0
H ( x ) - p( xi ) log p ( xi )
i 1 N
由于 0≤p(xi)≤1 所以 log p(xi) ≤0 因此有 H(x)≥0 (2) 对称性
H ( p1 , p2 ,... pn ) H ( pn , p1 , p2 ,... pn1 )
H (0.99, 0.1) H (0.5, 0.5)
H (0.25, 0.25, 0.25, 0.25)
H (0.99,0.01) H (0.5,0.5) H (0.25,0.25,0.25,0.25)
(1) 不确定程度与信源概率空间有关； (2) 若状态数相同，等概分布时不确定程度最大； (3) 等概分布时，状态数越多则不确定程度越大。
2.不确定性的度量——不确定程度
不确定程度可以直观理解为猜测某些随机事件的 难易程度。 【例】布袋中有100个小球，大小、重量、手感完 全相同，但颜色不同。从布袋中任取一球，猜测 其颜色。 A. 99个红球，1个白球； B. 50个红球，50个白球； C. 25个红球，25个白球，25个黑球，25个黄球。

相应的相关函数与功率谱分布如下：
R ( )
场间 行间
行内
G(f)
行内 行间 场间
G(f) F .T R()
f
P.21
1）图像信源 （续）
对于数字型图像信号，可以采用马氏链模型
1 2
1
X
x
2
2
1
N 1
N 1
1
而 为相邻像素之间的相关系数。
2）语音信源
可以近似用一个一维随机过程U(ω, t)表示。严格的讲，它是一个 非平稳过程，但是对于短时段(5-50ms)可认为是平稳的，且某些是 随机噪声（清辅音）而某些时段则呈现周期性特征（浊音），还 有一些短时段是二者的混合。
Eaiaj
i
i2,
0,
当ij 当ij
R (t1t2) i i(t1)i(t2)
i
P.15
常用的展开式 (续）：
两边同乘 j (t2 )并在[a,b]内对t2积分，由归一性可得：
abR(t1t2)j(t2)d2tab ii(t1)i(t2)j(t2)d2t i
当 ijjj jj((tt11 ))aba bj(jt(1t)2 )j(jt(2t)2 d)d 2tt2 jjj(jt(1t)1)
对消息序列信源有：
pUuLUp (uu11) U p(unuL)nL
P.5
2）实际信源 （续） 例：最简单L=3的三位PCM信源：这时L=3, n=2, 即i={0,1}，则有：
p U ( u 3 ) U p 0 0 3, ,U 0 p 0 2 0 0 p 1 , 0 ,,U p 1 1 3 1 当 1 p 0 p 1 1 1 2 时 0 8 1,,0 8 1 0 ,,0 8 1 0 0 , , 1 ,1 ,1 8 10 1

p( x y ) 1。
i 1 j 1 i j
n
m
I ( xi y j ) log p( xi y j )
当X与Y相互独立时, 有p( xi y j ) p( xi ) p( y j )， I ( xi y j ) log p( xi ) log p( y j ) I ( xi ) I ( y j )
第2章 信源及其信息量
2.1 单符号离散信源
2.2 扩展信源 2.3 连续信源 2.4 离散信源无失真编码定理
在信源端需要解决两个问题： 一个是如何定量地描述信源，即如何计算信源的 信息量； 另一个是如何有效地表示信源的输出或者说信源 信息的载体形式，即信源编码问题；
信源分类
1、信源按照发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源。
自信息量具有下列性质: 1
I ( xi )是非负值。
对数曲线
2
当p( xi ) 1时，I ( xi ) 0 当p( xi ) 0时，I ( xi ) I ( xi )是p( xi )的单调递减函数。
值得注意的是：xi是一个随机量，
3
4
而I ( xi )是xi的函数，所以自信息量也 是一个随机变量，它没有确定的值。
I ( xi ) og p( xi )
单位： •对数以2为底，单位为比特 (bit) （binary unit） •对数以e为底，单位为奈特 (nat) (nature unit) •对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart)
含义： 在事件xi发生以前，等于事件xi发生的不确定性的大小； 在事件xi发生以后，表示事件xi所含有或所能提供的信息量。

某事件发生所含有的信息量应该是该事件发生的先验概率
的函数。
2021/2/9
第13页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
号 不确定性与发生概率
离 散
函数 f [p(xi)] 应满足以下 4 个条件：
信 源
▼ f [p(xi)] 应是 p(xi) 的单调递减函数：
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
号 不确定性与发生概率
离 散
事件发生的概率越小，我们猜测它有没有发生的困难程度
信 就越大，不确定性就越大。
源 事件发生的概率越大，我们猜测这件事发生的可能性就越
大，不确定性就越小。
概率等于 1 的必然事件，就不存在不确定性。
源
p( y j ) p( xi / y j )
2021/2/9
第18页
概率复习
2.1 (5) 当X与Y 相互独立时：
单 符
p( y j / xi ) p( y j )
号 离 散
p( xi / y j ) p( xi ) p( xi y j ) p( xi )p( y j )
信
源
(6)
p( xi / y j )
信
源
1
I( xi / y j ) log2 p( xi / y j )
表示在特定条件下（yj已定）随机事件 xi 所带来的信息量
2021/2/9
第27页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ③ 条件自信息量 符
号 同理，xi 已知时发生 yj 的条件自信息量为： 离