信息论第4讲——连续信源的数学模型及其信息测度

第五讲
连续
离散信源
信源的数学模型
– 随机变量、随机序列
信源的信息测度
– 简单离散信源：H(X), I(X;Y) – 离散无记忆信源：H ∞(X) = HL(X)=H(X) – 离散有记忆信源：H∞(X) ≤ HL(X) ≤ H(X)
第五讲
连续信源的数学模型 及其测度
X 和Y 之间的平均互信息由定义有
I (X；Y )
pXY (xy) log
pXY (xy) dxdy pX (x) pY ( y)
ln
1
1
1 2 2
(x mx )2
(1
2
)
2 x
2(x mx )( y my ) (1 2 ) x y
a
0 xi
bx
首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系
x取值为第i个小区间xi的概率为p(xi).△ ，于是得到离散信
源Xn的概率源空间为：
x1
x2
…
xn
p(x1)△ p(x2)△ … p(xn)△
其中
n
p( xi )
连续信源的数学模型
输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。
连续信源输出的状态概率用概率密度来表示。
X p(
x)
(a, b)
p(
x)
并满足
b
p(x)dx 1
a
连续熵
考虑一个定义在[a,b]区间的连续随机变量，如下图
p(x)
p(xi)
△
1) 相对熵为绝对熵减去一个无穷大量； 2) 相对熵不具有非负性，可以为负值； 3) 相对熵不等于一个消息状态具有的平均信息量； 4) 连续信源的绝对熵为一个无穷大量，但当分析互信
息量时是求两个熵的差，当采用相同的量化过程 时，两个无穷大量将被抵消，因而采用相对熵不影 响分析。
连续熵
定义：连续变量的联合熵为
yR
W
( y)
p(x
/
y) log W ( y) p(x / y)dx p(x)W ( y)
连续变量X与离散变量Y联合联合熵、条件熵
Hc ( XY ) W ( y) p(x / y) logW ( y) p(x / y)dx yR
Hc ( X / Y ) W ( y) p(x / y) log p(x / y)dx yR
HC HC
HC
(X) (X)
(X)
0； 0;
0 .
例 令X是数学期望为m，方差为 2 的正态随机变量，求
它的熵。
解：将正态随机变量的概率密度
p(x)
1
2
exp
1
2
2
(x
m)2
HC (X )
p(x) ln
1
2
1
2 2
(
x
m)
2
dx
ln 2 1
2
1 ln2 e 2
2
它的值视 2 的大小可正、可负或零，且与数学期望无关。
得连续信源的熵为：
n
H (X )
绝对熵
lim{H
0 n
b
(
X
n
)}
lim{
0 n
i
1
p(xi ) log
p(xi ) log }
a
p(x) log p(x)dx lim{log } 0
Hc(X)
相对熵
连续熵
定义:连续信源的相对熵为
b
Hc ( X ) a p(x) log p(x)dx
)
R2
p(x,
y)
log
q( x) w(
y)
dxdy
连续变量的联合熵、条件熵和互信息之间关系
Hc ( XY ) Hc ( X ) Hc (Y / X ) Hc ( XY ) Hc (Y ) Hc ( X / Y ) I(X ;Y) Hc(X ) Hc(X /Y) I ( X ;Y ) Hc (Y ) Hc (Y / X ) I ( X ;Y ) Hc ( X ) Hc (Y ) Hc ( XY )
pX (x) pXY (xy)dy R
R
1 2 x y
1
2
exp
1 2(1 2)
(x
mx )2
2 x
2(x
mx )( y x y
my )
(y
my )2
2 y
dy
exp
1
2
2 x
(
x
mx
)2
pY ( y) pXY (xy)dx
1
2 y
exp
1
2 y2
(x my )2
连续熵
条件平均互信息量
p(xy / z)
I
(
X
;Y
/
Z
)
R3
p(xyz)
log
q(
x
/
z)w(
y
/
z)
dxdydz
联合平均互信息量
I (XY; Z )
R3
p(xyz) log
p(xyz) p(xy)w(z)
dxdydz
连续熵与平均互信息量
连续变量X与离散变量Y的平均互信息量
I ( X ;Y )
b
p(x)dx 1
a
i 1
按离散信源熵定义
n
H ( X n ) [ p(xi )]log[ p(xi )]
i 1
n
n
p(xi ) log p(xi ) p(xi ) log
i n1
i 1
p(xi ) log p(xi ) log
i 1
当△→0，n→∞时，Xn接近于连续随机变量X，这时可
例 令X是在区间(a，b)上为均匀分布的随机变量， 求X的熵。
解：x的概率密度为
p(x)
b
1
a
0
x (a, b) x (a, b)
b1
HC ( X )
log(b a)dx log(b a) a ba
注意:连续变量的微分熵不具有非负性
当b－a>1 b－a<1 b－a=1
时， 时， 时，
e
2
Hc(X )
1 log 2
M
N 2
log 2 e
连续熵实例
设pXY是(xy)二维高斯概率密度函数
pXY (xy)
2
1
x y
1 2
exp
1
2(1 2 )
(
x
mx
2 x
)
2
2
(
x
mx )(
x y
y
my
)
(
y
my
2 y
)2
求X与Y的平均互信息。
例 X 和Y 的一维概率密度函数容易求得为
连续熵实例
• 均匀分布的连续信源的熵：仅与区域的边界有关
一维均匀分布 : Hc ( X ) ln(b a)
N
N
N维均匀分布 : Hc ( X ) ln (bi ai ) ln(bi ai )
i 1
i 1
• 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关
Hc
(X
)
1 2
log
2
Hc (XY ) p(xy)log p(xy)dxdy R2
定义：连续变量的条件熵为
Hc ( X / Y ) @ p(xy) log p(x / y)dxdy R2
Hc (Y / X ) @ p(xy) log p( y / x)dxdy R2
连续熵
定义：平均互信息量为
p(x, y)
I
(
X
;Y