第4章：连续信号与连续信道容量

pXY (xy) xy pXY (xy) pX ( x) pY / X ( y / x) pY ( y) pX /Y ( x / y)
边缘概率密度函数满足：
pX ( x) R pXY ( xy)dy pY ( y) R pXY (xy)dx
2、 连续信源的熵
单变量连续信源数学模型：
N
dx1
(bi ai )
dxN
N
log2 (bi i 1
ai )
i 1
i 1
N
log2 (bi ai ) Hc ( X1 ) Hc ( X 2 ) Hc ( X N ) i 1
(2) 高斯分布的连续信源的熵
一维随机变量 X 的取值范围是整个实数轴 R，概率密
由这样随机变量X所代表的信源称为高斯分布的连续信源。
p(x)
m
x
图2.3.2 一维正态分布的概率密度函数
x=-4:0.3:4;
1
m1=1;n1=0.5;
m2=2;n2=0.5;
0.5
m3=1;n3=0.3;
0
-4
-3
-2
-1
0
1
2
3
4
z1=(1/sqrt(2*pi*n1))*exp1((-1/2)*(x-m1).^2/n1^2);
px
px
maxH Y H N px
由于加性噪声N和信源X相互统计独立，X的概率密度函数p(x) 的变动不会引起噪声熵H(N)的改变，因此加性信道的容量C就 是选择p(x)，使输出熵H(Y)达到最大。
连续信道容量
可以证明
Ct

B
log
2
1

S N

两个连续变量的条件熵：
Hc (Y / X ) p(xy) log2 p( y / x)dxdy R2
Hc (X / Y ) p(xy) log2 p(x / y)dxdy R2
3、 几种特殊连续信源的熵
(1) 均匀分布的连续信源的熵
一维连续随机变量 X 在 [a,b] 区间内均匀分布时的熵为:
度函数呈正态分布，即：
p(x) e 1

(
xm )2 2 2
2 2
m是X的均值：m E[X ]

xp( x)dx

2是X的方差： 2 E[( X m)2 ] ( x m)2 p( x)dx
当m 0时， 2就是随机变量的平均功率：P x2 p( x)dx
x
F ( x) P( X x) pX ( x)dx
y
F ( y) P(Y y) pY ( y)dy
② 条件概率密度和联合概率密度函数
条件概率密度函数： 联合概率密度函数： 它们之间的关系为：
pY / X ( y / x), pX /Y ( x / y) F ( xy)
2 2 )dx

p( x)(log2
e)
( xm)2 2 2
dx
因为： p( x)dx 1, ( x m)2 p( x)dx 2


所以：Hc ( X ) log 2
2
2

1 2
log 2
e

1 2
log 2
2e
2
说明
高斯连续信源的熵与数学期望 m 无关，只与方差σ2 有
0
b
a p( x) log2 p( x)dx lnim(log2 )
0
b
lim H( X )
n
a
p( x)log2
p(
x)dx

lim(log
n
2

)
0
0
上式右端的第一项一般是定值，而第二项在 Δ→0 时是
一无限大量。丢掉后一项，定义连续信源的熵为：
关；
熵描述的是信源的整体特性，由图2.3.2看出，当均值
m 变化时，只是 p(x) 的对称中心在横轴上发生平移，曲 线的形状没有任何变化，即数学期望 m 对高斯信源的总
体特性没有任何影响；
若方差σ2 不同，曲线的形状随之改变，所以高斯连续信
源的熵与方差有关而与数学期望无关。这是信源熵的总体
特性的再度体现。
(b / s)
式中 S － 信号平均功率 （W）；
N － 噪声功率（W）；
B － 带宽（Hz）。
设噪声单边功率谱密度为n0，则N = n0B；
故上式可以改写成：
Ct

B log 2 1

S n0 B

(b / s)
由上式可见，连续信道的容量Ct和信道带宽B、信号功 率S及噪声功率谱密度n0三个因素有关。
Ct

B log 2 1

S n0 B

(b / s)
当S ，或n0 0时，Ct 。
但是，当B 时，Ct将趋向何值？
令：x = S / n0B，上式可以改写为：
Ct
利用关系式
S n0
Bn0 S
log 2 1

S n0 B


S n0
log 2 1
z2=(1/sqrt(2*pi*n2))*exp0.5((-1/2)*(x-m2).^2/n2^2);
z3=(1/sqrt(2*pi*n3))*exp((-1/2)*(x-m3).^2/n3^2);
subplot(3,1,1);
0
-4
-3
-2
-1
0
1
2
3
4
1
plot(x,z1)
subplot(3,1,2);
x)



i 1
(bi

ai
)
i 1

0
N
x (bi ai )

i 1
Hc ( X )
Hc ( X1 X 2
XN)
bN
aN
b1 a1
p( x) log2
p( x)dx1
dxN
bN aN
b1 a1
N

1 (bi
a
i
)
log
2
1
0.5
plot(x,z2) subplot(3,1,3);
0
-4
-3
-2
-1
0
1
2
3
4
plot(x,z3)

Hc ( X ) p( x) log2 p( x)dx

p( x) log2
1
e dx
(
xm )2 2 2
2 2

p( x, 0时，若极限存在，即得连续信源的熵为：
n
n
lim H( X )
n 0
lim n 0
i 1
p( xi ) log2
p( xi ) lnim(log2
0
)
i 1
p( xi )
b
b
a p( x) log2 p( x)dx lnim(log2 ) a p( x)dx
R
X
:

p(
x)
并满足：R p( x)dx 1
R 是连续变量 X 的取值范围。
先将连续信源在时间上离散化，再对连续变量进行量化 分层，并用离散变量来逼近连续变量。量化间隔越小， 离散变量与连续变量越接近，当量化间隔趋近于零时， 离散变量就等于连续变量。
p(x)
x
a
b
a+(i-1)Δ
信息论与编码
西安工业大学电子信息工程学院 赵黎
第四章 连续信源和连续信道容量
本章内容
连续信源 连续信道容量
4.1 连续信源
连续信源的统计特性 连续信源的熵 几种特殊连续信源的熵
1、连续信源的统计特性
连续信源，指输出消息在时间和取值上都连续的信源； 连续信源输出的消息是随机的，与随机过程相对应； 连续信源的统计特性---概率密度函数； 单变量连续信源的输出是取值连续的随机变量。可用变量
Hc(X
)

1 2
log 2
2e
2
4.2 连续信道容量
连续信道的数学模型 连续信道容量---香农公式 举例
连续信道：输入输出随机变量都取值于连续集合的信道
一、单维连续通信系统数学模型：
X
Y
p(Y/X)
b
a p(x)dx 1
数学描述：X p( y / x) Y
两类情况
Hc (X ) R p(x) log 2 p(x)dx
上式定义的熵在形式上和离散信源相似，也满足离散熵 的主要特性，如可加性，但在概念上与离散熵有差异因 为它失去了离散熵的部分含义和性质。
连续信源的联合熵和条件熵 两个连续变量的联合熵：
Hc (XY) p(xy)log2 p(xy)dxdy R2
【例】已知黑白电视图像信号每帧有30万个像素；每个像素有8个亮 度电平；各电平独立地以等概率出现；图像每秒发送25帧。若要求 接收图像信噪比达到30dB，试求所需传输带宽。
【解】因为每个像素独立地以等概率取8个亮度电平，故每个像素的
信息量为 Ip = -log2(1/ 8) = 3 (b/pix)
的概率密度、变量间的条件概率密度和联合概率密度描述。
① 一维概率密度函数
随机变量 X 的一维概率密度函数（边缘概率密度函数）为：