第6章连续信源的熵连续信道的平均互信息与信道容量

x m
6.1.3 连续信源熵的性质和定理 1
连续信源熵可为负值 连续信源熵的可加性
2
H c ( XY ) H c ( X ) H c (Y X ) H c ( XY ) H c (Y ) H c ( X Y )
推广到N个变量的情况
H c ( X1 X 2
X N ) H c ( X1 ) H c ( X 2 X1 ) H c ( X 3 X1 X 2 ) H c ( X N X1 X 2 XN )
C max Ic ( X ;Y ) max Hc ( X ) Hc ( X Y ) max Hc (Y ) Hc ( X )
此情况下最大熵信源统计特 性与白噪声(均匀噪声)相同
(6.1.34)
18
2
限平均功率的最大熵定理
平均功率为P，均值m受限情况下，当信源 概率密度函数为正态分布时，具有最大熵。
p( x)
1 e 2 ( x m )2 2 2
,



p ( x )dx



q ( x )dx 1
第 6 章
连续信源熵和信道容量
1
6.1
连
续
信
源
熵
第6章
6.2
熵
功
率
6.3
连 续 信 道 的 信 道 容 量
2
平稳信源
统计特性与时间起点无关的 连续信源。
连续 信源
非平稳信源
遍历的随机过程
连续信源的分类
统计平均以概率1等于时间平
均的平稳随机过程。
3
时间平均：
1 lim T 2T

T
T

14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源

b
a q(x)log
1 q(x)
dx
log( b
b
a)a q(x)dx
b
a q(x)log
1 q( x)(b
a)
dx
log
b
a q(x)
1 q(x)(b
a)
dx
log 1
0
（2） 平均功率受限时，限制随机变量x 的平均功
率或方差，即 2 p(x)(x m)2 dx
定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大，
1 N
N2
xi
i 1
Ps
定理：平均功率受限的时间离散、恒参、可加高斯
噪声信道的容量为： （还是单个随机变量的）
C
1 2
log( 1
Ps
2
)
Ps 是输入平均功率的上限， 2 是均值为0的高斯噪
声的方差。最佳输入分布是均值为0、方差为 Ps 的高
p(x | y)x pX (x)x
pXY (xy)log
p(x | y) dxdy h(X ) h(X p(x)
|Y)
I (X ;Y | Z)
pXYZ (xyz) log
pXY|Z (xy | z) pX|Z (x | z) pY|Z ( y |
dxdydz z)
I(XY;Z)
(Y EY )2 ] DX DY E( X EX )(Y EY ) DX DY E( X EX )E(Y EY ) DX DY
独立的
如果对输入功率不加限制，互信息可能任意大。 所以我们研究平均功率受限的可加噪声信道。也就是
2
xi
xN xi2 p(x)dx xi xi2 p(xi )dxi ,

p(x)
p(x| y)
平均条件互信息：
I(X;Y|Z) P(xy)zlogP(x| yz)
XYZ
P(x| z)
P(xy)zlog P(xy| z)
XYZ
P(x| z)P(y| z)
I(X;YZ ) P(xy)lzoP g(x|y)z
XYZ
P(x)
I(X;YZ )H(X)H(X|YZ ) I(X;Y)I(X;Z|Y)
1-p
Y 0=b1
1=b2
1p p 1pp
P (M 1)P (M 2)P (M 3)P (M 4) 1/4 , P (0|M 1)P (0|0 )1p
输入M1和第一个输出符号0的联合概率为 P ( M 1 ,0 ) P ( M 1 ) P ( 0 |M 1 ) ( 1 /4 )1 (p )
根据信道特性，输出第一个符号为0的概率为
I(X;Y) P(xy)logP(x| y)
X ,Y
P(x)
P(xy)log P(xy) P(xy)logP(x)P(y)
x,Y
P(x)P(y) X,Y
P(xy)
logP(xy) P(x)P(y) logP(x)P(y) 0
x, y
P(xy)
x, y
I(X;Y) 0
但非平均互信息可能为负值。 互信息量＝log（后验概率）－log（先验概率）。
I(x i;y j) I(x i) I(y j) I(x iy j)
H（X|Y） I(X;Y)
H（Y|X）
H（X，Y）
H(X|Y) 常称为疑义度、含糊度，－－损失熵 它表示观察到Y后，集X还保留的不确定性。
H(Y|X) 常称为散布度，－－噪声熵（由噪声引起） 它表示由于干扰的影响，使观察的Y存在的 平均不确定性。

6.1 单符号连续信源的熵与微分熵
1、单符号连续信源
定义
信源发出的消息为单一符号，这些符号随机取值于 一个连续域
表示
连续型随机变量X
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX
随机变量X的取值x为信源发出的消息
定义
对应于单符号连续信源和单符号连续信宿的信道
表示
信源——连续型随机变量X 信宿——连续型随机变量Y
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX 随机变量X的取值x为信源发出的消息
Y y [c, d] 通常[c, d] [a , b] dP(Y y) p( Y y) p( y) dY 随机变量Y的取值y为信宿收到的消息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
第6章 连续信源的熵、连续信道的平均互信息 与信道容量
教学内容和要求
理解单符号连续信源及其模型，理解其熵，掌握 其微分熵 理解单符号连续信道及其模型，掌握其平均互信 息，理解其信道容量 掌握高斯信道的信道容量，香农公式
第6章 连续信源的熵、连续信道的平均互信息与信道容量
微分熵不能作为信息度量，平均互信息——微分熵 差，具有信息度量的意义 信宿每收到一条消息所含信源一条消息的平均信息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
I(X; Y) h(X) h(X / Y)
以信宿为参考，利用信宿的微分熵和信道的噪声 微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的损失 微分熵来度量信道中传输的平均信息

则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故，
通常只需研究上凸函数
14
詹森(Jenson)不等式
引理
若f(x)是定义在区间[a,b]上的实值连续上凸函数，则对 于任意一组 x1, x2,..., xn [a,b] 和任意一组非负实数
4
平均自信息量—信息熵
定义 2.1.6 集X上，随机变量I(xi)的数学期 望定义为平均自信息量
n
H (X ) E I (xi) E log p(xi) p(xi) log p(xi) i 1
集X的平均自信息量又称做是集X的信息熵， 简称做熵。含义上信息熵与热熵有相似之处。
5
平均不确定性
i, pi 1,其余的pk 0 (k i)
即，信源虽然有不同的输出符号，但它只有一个符号几 乎必然出现，而其它符号几乎都不可能出现，那么，这 个信源是一个确知信源，其信源熵等于零。
这种非负性对于离散信源的熵是正确的，但是对于 连续信源来说，该性质不存在。
17
熵函数的性质—— 3.扩展性
lim
如：
二元熵函数 H(X)
1.0
0
1.0 p
二图元3熵.1熵函函数数
23
各种熵之间的关系
1.联合熵与信息熵、条件熵的关系
H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X)-H(X/Y)=H(Y)-H(Y/X) H(X1,X2,...,XN)
=H(X1)+H(X2/X1)+...+H(XN/X1X2...XN)
X P( X
)
0.x910, ,

12
连续信源的联合熵和条件熵 两个连续变量的联合熵：
Hc(X)Yp(x)ylo2g p(x)yd xd y R2
两个连续变量的条件熵：
Hc(Y/X)p(xy)log2 p(y/x)dxdy R2
Hc(X/Y)p(xy)log2 p(x/y)dxdy
R2
13
3、 几种特殊连续信源的熵
(1) 均匀分布的连续信源的熵
边缘概率密度函数满足：
p X (x )R p X(x Y )d yy p Y (y )R p X(x Y )d yx
8
2、 连续信源的熵
单变量连续信源数学模型：
R X: p(x)
并满 Rp足 (x)d： x 1
R 是连续变量 X 的取值范围。
先将连续信源在时间上离散化，再对连续变量进行量化 分层，并用离散变量来逼近连续变量。量化间隔越小， 离散变量与连续变量越接近，当量化间隔趋近于零时， 离散变量就等于连续变量。
其中 xi 是 a+(i－1)Δ 到 a+iΔ 之间的某一值。当 p(x) 是 X 的连续函数时，由中值定理可知，必存在一个 xi 值使上式成
立。
10
这样连续变量 x 就可用取值为 xi(i=1,2,…,n) 的离散
变量近似。连续信源被量化成离散信源。
n
n
n
H (X) p(xi)lo2g p(xi) p(xi)lo2g p(xi) p(xi)lo2 g
9
p(x)
x
a
b
a+(i-1)Δ
a+iΔ
设 p(x) 如图所示。把连续随机变量 X 的取图2值.3.1分概率割密度成函数n 个小
区间，各小区间等宽，即：Δ=(b－a)/n。则变量落在第 i 个

东南大学移动通信国家重点实验室
1
“信息论与编码”课件
第六章 连续消息和连续信道
东南大学移动通信国家重点实验室
2
“信息论与编码”课件
本章内容提要
连续消息的信息 连续消息在信道上的传输问题 香农信道容量公式 连续消息的识别和理想接收机 连续信源的数字处理及其编码
东南大学移动通信国家重点实验室
第二项，当x0时它趋于无限大，称为绝对熵，用 H(x0)表示： H ( x 0 ) p ( x ) lb x d x (6.7)

东南大学移动通信国家重点实验室
9
“信息论与编码”课件
6.1 连续消息的信息度量
6.1.1 基本思路
相对熵分析 由于H(x)=E[I(x)]，连续消息每一样值只有对应的概率 密度，其所占概率为0，根据自信息量的定义，连续消 息每一样值的自信息量都是无限大，况且量化前样值 集合的幅度连续，有无限多幅度值。 但经量化后，样值集合的幅度值变为有限，样值与样 值之间的差异也就变为有限。 反映在信息特性上，就是相对熵，它仅与连续信源的 概率密度有关，不同概率密度的信源具有不同的相对 熵，因此它表征了信源间平均信息量的差异，故又称 之为“熵差”。
h ( x1 ) h ( x 2 ) lo g 1
2
东南大学移动通信国家重点实验室
17
“信息论与编码”课件
6.1 连续消息的信息度量
6.1.2 几种连续信源的相对熵
3. 指数分布 指数分布连续信源X的信源空间为
(0, ) X : X P : P (X ) : p(x)
当m = 0时，方差就是高斯连续信源X的p(x) p ( x ) d x 1 (6.14) 高斯分布连续信源的概率 密度函数的曲线描绘如图

n
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数

j1 i 1 i 1 i 1 j1
M
N
N
N
M
其中0 1
例1：二进制信源X ~ P(X )，二进制对称信道 Y / X ~ P(Y / X) P(X ) p q p ，P(Y / X) q q q
求平均互信息及p-I(X;Y)和q-I(X;Y)曲线
P(Y) p q p q q pq p q q pq pq
求二进制对称信道的信道容量C及达到C的信源概率P(X)
C max I(X; Y) max[H(Y) H(Y / X)]
P(X) P(X)
max[H(pq p q ) H(q)] max H(pq p q ) H(q 1 H(q)
i 1 j1 M
M
{ [P1 ( x i )]P( y j / x i )}log{ [P1 ( x i )]P( y j / x i )} [P1 ( x i )]P( y j / x i ) log P( y j / x i )
j1 i 1 i 1 i 1 j1
(3)极值
I(X; Y) H(X)
H( X / Y) 0 I(X; Y) H(X) H(X / Y) H(X)
X与Y一一对应时， H(X / Y) 0 I(X; Y) H(X) H(X / Y) H(X)
(4)严格凸
信道给定时，对于信源概率P(X)严格上凸
0
0.5
1 p
信源给定时p为常数，作q-I(X;Y)曲线
当q 0时，I(X; Y) H( p ) H(0) H(p) q 0.5时，I(X; Y) H(0.5) H(0.5) 0 q 1时，I(X; Y) H(p) H(1) H(p) I(X;Y) H(p)