i 1 M i j 1
N
M
j
) 1, p( xi | y j ) 1,
i 1 N
N
p( y
j 1
N
j
| xi ) 1, p( xi , y j ) 1
j 1 i 1
M j
M
(3)
p( x , y
i 1 i
) p( y j ), p( xi , y j ) p( xi )
H(x) 1
p 0
2013-10-26
1/2
1
22
3. 熵函数的性质
(1) 非负性 H(x) ≥0
H ( x ) - p( xi ) log p ( xi )
i 1 N
由于 0≤p(xi)≤1 所以 log p(xi) ≤0 因此有 H(x)≥0 (2) 对称性
H ( p1 , p2 ,... pn ) H ( pn , p1 , p2 ,... pn1 )
H (0.99, 0.1) H (0.5, 0.5)
H (0.25, 0.25, 0.25, 0.25)
H (0.99,0.01) H (0.5,0.5) H (0.25,0.25,0.25,0.25)
(1) 不确定程度与信源概率空间有关； (2) 若状态数相同，等概分布时不确定程度最大； (3) 等概分布时，状态数越多则不确定程度越大。
2.不确定性的度量——不确定程度
不确定程度可以直观理解为猜测某些随机事件的 难易程度。 【例】布袋中有100个小球，大小、重量、手感完 全相同，但颜色不同。从布袋中任取一球，猜测 其颜色。 A. 99个红球，1个白球； B. 50个红球，50个白球； C. 25个红球，25个白球，25个黑球，25个黄球。
