连续信源的最大熵与最大熵条件解析
- 格式：doc
- 大小：276.68 KB
- 文档页数：9
下载文档原格式
合集下载
信息论连续信源
其他连续熵的定义：
h( XY ) p( xy) log p( xy)dxdy
R2
h( X ) p( xy) log p( x )dxdy Y y 2
R
h(Y
y )dxdy ) p( xy) log p( X x 2
R
2.3.2 几种特殊连续信源的熵
1
均匀分布的连续信源的熵
n
0
lim log p ( x)dx
n
0
连续信源熵定义：
1
h( X ) p( x) log p( x)dx
为了在形式上与离散信源熵统一 熵差仍然具有信X ) H ( X ) Y
例
求均匀分布的连续信源熵
原因
2影响信源的整体特性，m
对整体特性无影响
3 指数分布的连续信源的熵
1 e x0 p ( x) m 0 其它 h( X ) p( x) log p( x)dx
x m
0
1 p( x) log( e )dx 0 m x log m p( x)dx log e p( x) dx 0 0 m log( me)
x m
2.3.3 连续熵的性质
1 2
连续信源熵可为负值 可加性
h( XY ) h ( X ) h (Y
X
)
h( XY ) h (Y ) h ( X ) Y
3
非负性
Ic ( X ;Y ) 0
4
对称性
I c ( X ;Y ) I c (Y ; X )
2.3.4 最大熵和熵功率
p( x i )
信源熵的名词解释
信源熵的名词解释信源熵（Source Entropy）是信息论中一个重要的概念，用于衡量信息源的不确定性和信息的平均编码长度。
在信息论中，信息可以被看作是从一个信源中获取的，而信源熵用来描述这个信源的不确定性大小。
信源熵的计算方法是根据信源可能产生的符号的概率分布来进行的。
具体来说，如果一个信源有n个可能取值（符号）S1，S2，...，Sn，并且每个符号出现的概率分别为P1，P2，...，Pn，那么信源的熵H(S)可以通过下面的公式计算得出：H(S) = -P1log(P1) - P2log(P2) - ... - Pnlog(Pn)其中，log是以2为底的对数，P1，P2，...，Pn是概率分布。
信源熵的含义是，对于一个不确定性较大的信源，需要更长的编码长度来表示每一个符号，所以熵值越大，说明信息的平均编码长度越长。
相反，当一个信源的不确定性较小，即各个符号出现的概率分布较平均时，信息的平均编码长度较短，熵值较小。
以一个简单的例子来说明信源熵的概念。
假设有一个只有两个符号的信源，分别记为S1和S2，它们出现的概率分别为P1和P2。
如果这两个符号的概率分布相等（即P1 = P2 = 0.5），那么信源的熵就是最大的，因为这两个符号的不确定性相同，需要同样长度的编码来表示它们。
而如果其中一个符号的概率接近于1，另一个符号的概率接近于0，那么信源的熵就是最小的，因为其中一个符号的信息是确定的，只需要很短的编码来表示它。
这个例子可以帮助我们理解信源熵与不确定性之间的关系。
除了信源熵，信息论中还有一个重要的概念是条件熵（Conditional Entropy）。
条件熵是在已知一定的背景条件下，信源的不确定性大小，即在给定前提条件下的平均编码长度。
条件熵可以通过信源和条件之间的联合概率分布来计算，其公式为：H(S|T) = -ΣΣP(s, t)log(P(s|t))其中，P(s, t)表示符号s和条件t联合发生的概率。
2.6连续信源的熵
2.6连续信源的熵所谓连续信源就是指其输出在时间上和取值上都是连续的信源。
见图2.6.1。
各采样值的概率可用其概率分布密度函数来确定。
图2.6.2表示一个连续信源输出的幅度和其概率分布密度的关系。
设各种采样值之间无相关性，信源熵可写成：])(log[)(dx x p dx x p i ii ∑[例2.6.1]一连续信源，其输出信号的概率分布密度如图2.6.3所示，试计算其熵。
连续信源的熵不再具有非负性，这与离散信源显然不同。
同样可以定义两个连续变量的联合熵：⎰⎰-=dxdy xy lbp xy p XY H )()()(以及定义两个连续变量的条件熵；⎰⎰-=dxdy y x lbp xy p Y X H )/()()/( ⎰⎰-=dxdy x y lbp xy p X Y H )/()()/(连续信源的共熵、条件熵、单独熵之间也存在如下关系：)()()(Y H X H XY H +≤2.6.1三种特定连续信源的最大熵与离散信源不同，求连续信源的最大熵需要附加条件，常见的有三种。
1．输出幅度范围受限（或瞬时功率受限）的信源2．输出平均功率受限的信源 3．输出幅度平均值受限的信源 (1)限峰值功率的最大熵定理若代表信源的N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。
设N 维随机变量∏=∈Ni iib a X 1),( iia b>其均匀分布的概率密度函数为⎪⎪⎩⎪⎪⎨⎧-∉-∈-=∏∏∏===Ni i i Ni i i Ni i i a b x a b x a b x p 111)(0)()(1)(除均匀分布以外的其他任意概率密度函数记为)(x q ，并用[]X x p H c),(和[]X x q H c),(分别表示均匀分布和任意非均匀分布连续信源的熵。
在1)()(11112121==⎰⎰⎰⎰N b a b a N b a b a dx dx dxx q dx dx dxx p N NN N的条件下有[]⎰⎰-=1112)(log)(),(b a Nb ac dx dx x q x q X x q H NN⎰⎰⎰⎰⎰⎰+-=⎥⎦⎤⎢⎣⎡∙=111111121212)()(log)()(log)()()()(1log )(b a Nb a b a N b a b a Nb a dx dx x q x p x q dx dx x p x q dx dx x p x p x q x q NNNNN N令0,)()(≥=z x q x p z显然运用著名不等式1ln -≤z z 0>z 则]),([11)(log1)()()()(1log)(]),([1211121111X x p H a bdx dx x q x p x q dx dx a bx q X x q H c Ni i ib a Nb a b a N Ni i ib ac N N NN=-+-=⎥⎦⎤⎢⎣⎡-+--≤∏⎰⎰⎰∏⎰==则证明了，在定义域有限的条件下，以均匀分布的熵为最大。
信息论2015-4
种坐标系的变换。
信源
X
信号处理
Y
信道
Y1 g1 ( X 1 , X 2 ,...X N ) Y g ( X , X ,...X ) 2 2 1 2 N YN g N ( X 1 , X 2 ,...X N )
平稳的连续信源输出信号为N维连续随机向量X=(X1,X2,…XN)，
率受限，则当输出信号的概率密度函数为高斯分布时，信源具有最大熵。 如果N维平稳随机序列信源，其输出信号的协方差矩阵受限，则当各个随 机分量为统计独立且为高斯分布时，信源具有最大熵。
5
3.4.1 连续信源的最大熵
如果N维连续平稳信源输出的N维连续随机序列X=(X1,X2,…XN)是高斯分布的，则称 此信源为N维高斯信源。
可以证明
X J Y
1 J Y X
因此有
X p ( x , x , , x ) dx dx dx p ( x , x , , x ) J dy1dy2 dy N N 1 2 N N A X 1 2 B X 1 2 Y
F ( x, p ) 0 求这个辅助函数关于信源概率密度函数的微分，根据极值的条件有 p
如果考虑m个约束方程，能够求得概率密度函数的解，就可以确定这个连续信源的 最大熵和所对应的信源概率密度分布p(x)。
2
3.4.1 连续信源的最大熵
（1）峰值功率受限的连续信源最大熵
若一个连续信源，其一维连续随机变量X的取值区间是[-v, v]，X在其中的概率密度 函数是p(x)，这时对应只有一个约束方程， v
p( y )
1 2k
2 2
e
( y a ) 2 / 2 k 2 2
具有最大熵的连续信源
具有最大熵的连续信源具有最大熵的连续信源马冬梅2001级信息与计算科学摘要：在连续信源中差熵也具有极大值，但它与在离散信源中，当信源符号等概率分布时信源的熵取最大值时的情况有所不同。
除存在完备集条件()1Rp x dx =?以外，如有其他约束条件，当各约束条件不同时，信源的最大差熵值不同。
关键词：最大差熵值峰值功率平均功率最大相对熵概率密度函数詹森不等式1 问题提出我们在求信源的最大熵时，会受到很多条件的约束。
一般情况，在不同约束条件下，求连续信源差熵的最大值，就是在下述若干约束条件下()1p x dx ∞-∞=?122()()()xp x dx K x m p x dx K ∞-∞∞-∞=-=??求泛函数()()log ()h x p x p x dx ∞-∞=-的极值。
通常我们考虑两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。
2 峰值功率受限条件下信源的最大熵假设某信源输出信号的峰值功率受限为?p，即信源输出信号的瞬时电压限定在内，它等价于信源输出的连续随机变量x 的取值幅度受限，限于[],a b 内取值，所以我们求在约束条件()1bap x dx =?下，信源的最大相对熵。
定理 1 若信源输出幅度被限定在[],a b 区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。
其值等于log()b a -.若当N 维随机变量取值受限时，也只有各随机分量统计独立并均匀分布时具有最大值。
在此，只有对一维随机变量进行证明，对于N 维随机矢量可采用相同的方法进行证明。
证明：设()p x 为均匀分布概率密度函数1()p x b a=-，并满足()1b a p x dx =?，又设()q x 为任意分布的概率密度函数，也有()1baq x dx =?。
则[,()][,()]()log ()()log ()bbaah X q x h X p x q x q x dx p x p x dx-=-+??()log ()[log()()]b baaq x q x dx b a p x dx =---??()log ()[log()()]b baaq x q x dx b a q x dx =---??()log ()()log ()b baaq x q x dx q x p x dx =-+-??()()()log log[()]0()()bb a a p x p x q x dx q x dx q x q x =≤=?? 其中运用了詹森不等式，因而[,()][,()]h X q x h X p x ≤当且仅当()()q x p x =时等式才成立。
第二章基本信息论6_连续信源的熵
2.6 连续信源的熵
一、连续信源熵的定义
♦连续信源：输出在时间和取值上都是连续的信源 连续信源：
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限， 若连续信源的频带受限，为W，则根据采样定理， ，则根据采样定理， 只要采样频率大于2W， 只要采样频率大于 ，则连续信源经采样离散 不损失任何信息。 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为： 信源，其信源熵为：
∞
1 λ1 −1 e = σ 2π ⇒ λ =− 1 2 2 2σ
− 2 1 得p ( x ) = e 2σ 为高斯分布 σ 2π
x2
P(x)
最大熵
H max ( X ) = − ∫ p ( x )log p( x )dx
−∞
x 1 − 2 = − ∫ p ( x )ln e 2σ −∞ σ 2π
H max ( X ) = − ∫
V2 −V1
V2
x
p ( x )log p ( x )dx = log(V1 + V2 )
2、输出平均功率受限的信源 、 设信源 ( X ) = − ∫ p( x )log p ( x )dx为极大值的p ( x )
−V
V
以及对应的最大熵H max ( X )， 其限制条件：
P( x )
1/ 2
0
1 dx1 3
x
P(x)
2
dx2
6 x
二、连续信源熵的性质
♦ 连续信源熵可正可负
H ( X ) = −∫
−∞
∞
p ( x )log p( x )dx
1 1 = − ∫ lb dx = −1比特/采样 3 2 2
一、连续信源熵的定义
♦连续信源：输出在时间和取值上都是连续的信源 连续信源：
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限， 若连续信源的频带受限，为W，则根据采样定理， ，则根据采样定理， 只要采样频率大于2W， 只要采样频率大于 ，则连续信源经采样离散 不损失任何信息。 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为： 信源，其信源熵为：
∞
1 λ1 −1 e = σ 2π ⇒ λ =− 1 2 2 2σ
− 2 1 得p ( x ) = e 2σ 为高斯分布 σ 2π
x2
P(x)
最大熵
H max ( X ) = − ∫ p ( x )log p( x )dx
−∞
x 1 − 2 = − ∫ p ( x )ln e 2σ −∞ σ 2π
H max ( X ) = − ∫
V2 −V1
V2
x
p ( x )log p ( x )dx = log(V1 + V2 )
2、输出平均功率受限的信源 、 设信源 ( X ) = − ∫ p( x )log p ( x )dx为极大值的p ( x )
−V
V
以及对应的最大熵H max ( X )， 其限制条件：
P( x )
1/ 2
0
1 dx1 3
x
P(x)
2
dx2
6 x
二、连续信源熵的性质
♦ 连续信源熵可正可负
H ( X ) = −∫
−∞
∞
p ( x )log p( x )dx
1 1 = − ∫ lb dx = −1比特/采样 3 2 2
2.4 连续信源的熵
H绝 ( X ) = −∫
+∞ +∞
−∞ −∞
p( x ) log p( x )dx − lim log ∆ ；
∆ →0
(2) 连续信源的相对熵定义为 连续信源的相对熵 相对熵定义为
H相 ( X ) = −∫
+∞ −∞
p( x ) log p( x )dx
记为
H(X ).
即连续信源的相对熵简称为连续信源的熵。 即连续信源的相对熵简称为连续信源的熵。 连续信源的熵 8
16
第 二 章 基 本 信 息 论
§2.4 连续信源的熵
三、连续信源的最大熵
2. 瞬时功率 或幅值)受限 瞬时功率(或幅值 受限 或幅值 约束条件 − V ≤ x ≤ V ,
∫
V
−V
p( x )dx = 1 .
结论 若信源输出的幅值限定在区域 [ −V ,V ] 内，则当输出 信号的概率密度是均匀分布时，信源具有最大熵。 信号的概率密度是均匀分布时，信源具有最大熵。 H max ( X ) = ln 2V ( na t )
∂F ∂ϕ 1 令 = −[1 + ln p( x )] + λ 1 = 0 , + λ1 ∂p ∂p
⇒ ln p( x ) = λ 1 − 1 ,
⇒ p( x ) = e λ 1−1 ,
代入
∫
V
−V
p( x )dx = 1 得
λ 1−1
∫
V
−V
e λ 1−1dx = e λ 1−1 2V = 1 ,
= log 2V (bi t ) .
1. 连续信源的离散化(逼近) 连续信源的离散化(逼近)
~ 离散化(或者说量化)为离散信源 或者说量化 连续信源 X 被离散化 或者说量化 为离散信源 X ：
+∞ +∞
−∞ −∞
p( x ) log p( x )dx − lim log ∆ ；
∆ →0
(2) 连续信源的相对熵定义为 连续信源的相对熵 相对熵定义为
H相 ( X ) = −∫
+∞ −∞
p( x ) log p( x )dx
记为
H(X ).
即连续信源的相对熵简称为连续信源的熵。 即连续信源的相对熵简称为连续信源的熵。 连续信源的熵 8
16
第 二 章 基 本 信 息 论
§2.4 连续信源的熵
三、连续信源的最大熵
2. 瞬时功率 或幅值)受限 瞬时功率(或幅值 受限 或幅值 约束条件 − V ≤ x ≤ V ,
∫
V
−V
p( x )dx = 1 .
结论 若信源输出的幅值限定在区域 [ −V ,V ] 内，则当输出 信号的概率密度是均匀分布时，信源具有最大熵。 信号的概率密度是均匀分布时，信源具有最大熵。 H max ( X ) = ln 2V ( na t )
∂F ∂ϕ 1 令 = −[1 + ln p( x )] + λ 1 = 0 , + λ1 ∂p ∂p
⇒ ln p( x ) = λ 1 − 1 ,
⇒ p( x ) = e λ 1−1 ,
代入
∫
V
−V
p( x )dx = 1 得
λ 1−1
∫
V
−V
e λ 1−1dx = e λ 1−1 2V = 1 ,
= log 2V (bi t ) .
1. 连续信源的离散化(逼近) 连续信源的离散化(逼近)
~ 离散化(或者说量化)为离散信源 或者说量化 连续信源 X 被离散化 或者说量化 为离散信源 X ：
第三章连续信源的信息熵
a
H ( ) lim(log ) 0
n
def
§3. 2 连续变量的相对熵
在取极限的过程中由于n→∞ 相当于 →0，此时这个离散变 量越来越逼近一个连续变量；而离散集合中的信息熵Hn(X)就分解 为两项，其中一项与划分精度无关，趋于一个常量——Hc(X)。 而另一项，随着 →0最终趋于一个无穷大的量。很显然这与取极 限之前的离散熵差别很大，那么这种极限形式能否表达出信源平 均不定度的概念吗？ 由于表达形式的不同，则它的物理意义也应有所不同。所以 我们不能以离散熵的概念来理解上述表达式，特别是当某些离散 熵的数学性质不在继续保持的情况下，如：非负性、对称性、扩 展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属 性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此 有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。 （但我们要深入讨论离散向连续逼近时，物理属性的变化。）
Amplitude continuous
x ( ) Hc ( X )
所谓正交变换是一种数学处理手段，将在T时间内的 受限于最高频率为F的随机过程，无失真地变换成2FT个 随机变量。最理想的正交变换是： K—L expansion。
§3. 1 连续信源的离散化
因此任何复杂的统计对象，经多种处理后就可由 浅入深地逐步解决问题。正如我们在离散信源中： ai X X X (t , ) 随机 消息 随机 随机 变量 事件 序列 H ( X ) 过程 HL (X ) H I (ai ) H (X ) H X (t , ) H m 1 自信息 信息熵 随机过程的熵 任何处理过程总要丢失信息， 最多保持不变。所以简化处理就 H1 H ( X ) 得付出代价即：容忍信息的丢失， H 0 log n
H ( ) lim(log ) 0
n
def
§3. 2 连续变量的相对熵
在取极限的过程中由于n→∞ 相当于 →0，此时这个离散变 量越来越逼近一个连续变量；而离散集合中的信息熵Hn(X)就分解 为两项，其中一项与划分精度无关，趋于一个常量——Hc(X)。 而另一项，随着 →0最终趋于一个无穷大的量。很显然这与取极 限之前的离散熵差别很大，那么这种极限形式能否表达出信源平 均不定度的概念吗？ 由于表达形式的不同，则它的物理意义也应有所不同。所以 我们不能以离散熵的概念来理解上述表达式，特别是当某些离散 熵的数学性质不在继续保持的情况下，如：非负性、对称性、扩 展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属 性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此 有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。 （但我们要深入讨论离散向连续逼近时，物理属性的变化。）
Amplitude continuous
x ( ) Hc ( X )
所谓正交变换是一种数学处理手段，将在T时间内的 受限于最高频率为F的随机过程，无失真地变换成2FT个 随机变量。最理想的正交变换是： K—L expansion。
§3. 1 连续信源的离散化
因此任何复杂的统计对象，经多种处理后就可由 浅入深地逐步解决问题。正如我们在离散信源中： ai X X X (t , ) 随机 消息 随机 随机 变量 事件 序列 H ( X ) 过程 HL (X ) H I (ai ) H (X ) H X (t , ) H m 1 自信息 信息熵 随机过程的熵 任何处理过程总要丢失信息， 最多保持不变。所以简化处理就 H1 H ( X ) 得付出代价即：容忍信息的丢失， H 0 log n
2.3 连续信源
这样连续变量X就可用取值为ai ( i=1,2,…,n) 的离散变 量近似。连续信源被量化成离散信源。
H ( X ) p(ai ) log p( ai )
n
p (ai ) log p (ai ) p (ai ) log
i 1 i 1
n
i 1
3.连续信源的数学描述
单变量连续信源的输出是取值连续的随机变 量。可用变量的概率密度、变量间的条件概率密 度和联合概率密度描述。 （1）一维概率密度函数（边缘概率密度函数）：
dF ( y ) dF ( x ) p( x ) p X ( x ) , p( y ) pY ( y ) dy dx
i 1 N
其它
定义均匀分布以外的任意信源概率为q(x) Hc[p(x), X]表示均匀分布连续信源的熵 Hc[q(x), X]表示任意分布连续信源的熵
bN
aN
p( x )dx1dx2 dxN
a1
b1
q( x )dx1dx2 dxN 1
aN a1
bN
b1
i 1
N
均匀分布的连续信源的熵
H c ( X ) P( X ) log P( X )dX 1 dX N
aN a1 bN b1
aN
bN
b1 N
1
a1
(b a )
i i i 1
log
1
(b a )
i i i 1
N
dX 1 dX N
log 2 (bi ai )
N维矢量X =( X1X2 …XN)中各分量彼此统计独立，且 分别在 [a1,b1][ a2,b2] …[aN,bN]的区域内均匀分布，即
连续分布的最大熵
连续分布的最大熵在信息论中，熵是衡量不确定性的度量。
而最大熵原理则是一种根据已知信息来推断未知分布的方法。
在连续分布的最大熵问题中，我们希望找到一个概率密度函数，使其满足已知的约束条件，并且熵达到最大。
假设我们有一组观测数据，我们希望根据这些数据来推断概率密度函数。
我们可以通过最大熵原理来解决这个问题。
最大熵原理认为，我们在不知道具体分布情况时，应该选择熵最大的分布作为最优解。
那么，如何确定约束条件呢？在连续分布的最大熵问题中，常见的约束条件有均值、方差、边界条件等。
我们可以通过已知的统计量来构建这些约束条件，然后求解最大熵问题。
通过最大熵原理，我们可以得到一个最优的连续分布，使其满足已知的约束条件，并且熵达到最大。
这个最优的连续分布可以用于进行概率预测、模型拟合等任务。
举个例子来说明连续分布的最大熵。
假设我们有一组身高数据，我们希望根据这些数据来推断身高的概率分布。
我们可以使用最大熵原理来解决这个问题。
假设我们已知身高的均值和方差，我们可以构建这两个约束条件，并求解最大熵问题。
最终，我们可以得到一个最优的概率密度函数，用于描述身高的分布情况。
通过连续分布的最大熵，我们可以更好地理解数据的分布情况，并进行更准确的预测和建模。
最大熵原理在统计学、机器学习等领域有着广泛的应用。
它不仅可以用于连续分布，也适用于离散分布等其他情形。
总结起来，连续分布的最大熵是一种根据已知的约束条件来推断未知分布的方法。
通过最大熵原理，我们可以得到一个最优的连续分布，用于描述数据的分布情况。
这种方法在实际应用中有着广泛的应用，可以帮助我们更好地理解数据，并进行更准确的预测和建模。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
青岛农业大学本科生课程论文论文题目连续信源的最大熵与最大熵条件学生专业班级信息与计算科学 0902学生姓名（学号）指导教师吴慧完成时间 2012-6-25 2012 年 6 月 25 日课程论文任务书学生姓名指导教师吴慧论文题目连续信源的最大熵与最大熵条件论文内容（需明确列出研究的问题）：1简述连续信源的基本概要。
2 定义了连续信源的差熵公式，分别介绍了满足均匀分布和高斯分布的两种特殊信源。
3推导了连续信源的最大熵值及最大熵条件。
资料、数据、技术水平等方面的要求：1概率论的均匀分布、高斯分布的相关知识。
2以及在这两种分布下的连续信源和高斯信源。
3在不同的约束条件下，求连续信源差熵的最大值一种是信源的输出值受限，另一种是信源的输出平均功率受限。
4 詹森不等式以及数学分析的定积分和反常积分、不定积分等数学公式。
发出任务书日期 2012-6-6 完成论文日期 2012-6-25 教研室意见（签字）院长意见（签字）连续信源的最大熵与最大熵条件信息与计算科学指导老师吴慧摘要：本文简述了连续信源的基本概要并定义了连续信源的差熵公式，分别介绍了满足均匀分布和高斯分布的两种特殊信源，推导了连续信源的最大熵值及最大熵条件。
关键词：连续信源最大熵均匀分布高斯分布功率受限The maximum entropy and maximum entropy conditionof consecutive letter of the sourceInformation and Computing Sciences Bian jiangTutor WuhuiAbstract：: On the base of continuous source this eassy describes the basic outline and define differential entropy formula, introduced a uniform distribution and Gaussian distribution of the two special source, derivation of a continuous source of maximum entropy and maximum entropy conditions.Keyword: Continuous source Maximum entropy Uniform distributionNormal distribution Power is limited引言：科学技术的发展使人类跨入了高度发展的信息化时代。
在政治、军事、经济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视，信息论方法也逐渐被广泛应用于各个领域。
信息论一般指的是香农信息论，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。
1948年C.E.Shannon为解决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。
信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。
近年来，以不确定性信息为研究对象的信息论理论和方法在众多领域得到了广泛应用，并取得了许多重要的研究成果。
迄今为止，较为成熟的研究成果有：E.T.Jaynes在1957年提出的最大熵原理的理论；S.K.Kullback在1959年首次提出后又为J.S.Shore等人在1980年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov在1956年提出的关于信息量度定义的三种方法——概率法，组合法，计算法；A.N.Kolmogorov在1968年阐明并为J.Chaitin在1987年系统发展了的关于算法信息的理论。
这些成果大大丰富了信息理论的概念、方法和应用范围。
1连续信源及其差熵在通信系统中，所传输的消息可分为离散消息和连续消息。
对离散信源而言，它们输的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述。
而实际信源的输出常常时间、取值都连续的消息。
信源输出的消息是在时间上离散，而取值上连续的、随机的，这种信源称为连续信源。
例如遥控系统中有关电压、温度、压力等测得的连续数据。
基本连续信源的输出是取值连续的单个随机变量，即单符号的连续信源。
基本连续信源的数学模型为错误！未找到引用源。
=错误！未找到引用源。
(1-1)并满足 错误！未找到引用源。
(1-2)或者 错误！未找到引用源。
=错误！未找到引用源。
(1-3)满足 ⎰+∞∞-=1)(dx x p (1-4)连续信源的熵定义为 H(x)=-错误！未找到引用源。
连续信源的熵与离散信源的熵具有相同的形式，但其意义是不同的。
对连续信源而言，可以假设是一个不可数的无限多个幅度值的信源，需要无限多二进制位数(比特)来表示，因而连续信源的不确定性应为无穷大。
我们采用式1-4来定义连续信源的熵，是因为实际问题中，常遇到的是熵的差值(如平均互信息量)，这样可使实际熵中的无穷大量得以抵消。
因此，连续信源的熵具有相对性，有时又称为相对熵，或差熵。
2两种典型的连续信源现在来计算两种常见的特殊连续信源的相对熵。
2．1均匀分布的连续信源一维连续随机变量X 在[a,b]区间内均匀分布时，概率密度函数为错误！未指定书签。
错误！未指定书签。
)(x p =错误！未找到引用源。
(2-1)则=)(x H 错误！未找到引用源。
(2-2)当取对数以2为底时，单位为比特/自由度。
N维连续平稳信源，若其输出N维矢量X=(X1X2 .......X N)其分量分别在[a1,b1][a2,b2]……[a N,b N]的区问内均匀分布，即N维联合概率密度:(xp=错误！未找到引用源。
(2-3))则称为在N维区域体积内均匀分布的连续平稳信源。
又1-4可知，其满足p(x)=p(x1，x2，…，x N)=错误！未找到引用源。
(2-4) 表明N维矢量x中各变量X i(i=1，…，N)彼此统计独立，则此连续信源为无记忆信源，可求得此N维连续信源的相对熵为H(x)=-错误！未找到引用源。
=-错误！未找到引用源。
dx1dx2…dx N=log错误！未找到引用源。
=错误！未找到引用源。
可见，N维区域体积内均匀分布的连续信源的相对熵就是N维趋于体积内的对数。
也等于各变量X i在各自取值区间[a i,b i]均匀分布时的差熵H(X i)之和。
2．2高斯信源基本高斯信源是指信源输出的一维连续性随机变量x的概密度分布是正分布，即p=错误！未找到引用源。
] （2-5）(x)式中，m是X的均值，σ2是X的方差。
这个连续信源的熵为H(x)=-错误！未找到引用源。
dx=-错误！未找到引用源。
(-log错误！未找到引用源。
)dx+错误！未找到引用源。
dxloge=log错误！未找到引用源。
+1/2loge=1/2loge2错误！未找到引用源。
e错误！未找到引用源。
（2-6）式中，因为错误！未找到引用源。
dx=1和错误！未找到引用源。
dx=错误！未找到引用源。
可见，正态分步的连续信源的熵与数学期望m无关，只与其方差错误！未找到引用源。
有关。
如果N维连续平稳信源输出的N维连续随机矢量X=(X1X2 .......X N)是正态分布，则称此信源为N维高斯信源。
若各随机变量之间统计独立，可计算得N维统计独立的正态分布随机矢量的差熵为H(x)=N/2log2错误！未找到引用源。
e(σ12σ22σ…N2) 1/N=错误！未找到引用源。
（2-7）当N=I即x为一维随机变量时，式2-7就成为式2-6。
这就是高斯信源的熵。
3连续信源的最大熵在离散信源中，当信源符号等概率分布时信源的熵取得最大值。
在连续信源中差熵也具有极大值，但其情况有所不同。
除存在完备集条件错误！未找到引用源。
dx=1以外，还有其他约束条件。
当各约束条件不同时，信源的最大差熵值不同。
一般情况，在不同的约束条件下，求连续信源差熵的最大值，就是在下述若干约束条件下错误！未找到引用源。
dx=1错误！未找到引用源。
dx=K1错误！未找到引用源。
dx=K2求函数H(x)=-错误！未找到引用源。
的极值。
通常最感兴趣的是两种情况：一种是信源的输出值受限，另一种是信源的输出平均功率受限。
下面分别加以讨论：3．1峰值功率受限若信源输出的幅度被限定在[a ，b]区域内，即⎰=ba dx x p 1)(错误！未找到引用源。
，则 当输出信号的概率密度分布是均匀分布时，信源具有最大熵，其值等于log(b —a)。
其推导过程如下：设p(x)为均匀分布的概率密度函数)(x p =错误！未找到引用源。
，并满足⎰=ba dx x p 1)(。
而设q(x)为任意分布的概率密度函数，也有⎰=ba dx x q 1)(，则H[X ，q(x)]-H[X ，p(x)]= 错误！未找到引用源。
+错误！未找到引用源。
=-错误！未找到引用源。
-[log(b-a)错误！未找到引用源。
]=-错误！未找到引用源。
-[log(b-a)错误！未找到引用源。
]=-错误！未找到引用源。
]+错误！未找到引用源。
=错误！未找到引用源。
≤log [错误！未找到引用源。
]=0其中运用了詹森不等式，因而有H[X ，q(x)]≤H[X ，p(x)] (3-1)当且仅当q(x)=p(x)时，等式成立。
这就是说，任何概率密度分布时的熵必小于均匀分布时的熵，即当均匀分布时差熵达到最大值。
若当N 维随机矢最取值受限时，也只有各随机分量统计独立，并均匀分布时具有最大熵。
对于N 维随机矢量的推倒可采用相同的方法。
3．2平均功率受限 若一个信源输出信号的平均功率被限定为P ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵，其值为1/2log2错误！未找到引用源。
ep 。
现在被限制的条件是信源输出的平均功率受限为 P 。
对于均值为零的信号来说，这条件就是其方差σ2受限。
一般均值不为零的一维随机变量，就是在约束条件错误！未找到引用源。
dx=1 (3-2)和m=错误！未找到引用源。
dx ， 错误！未找到引用源。
dx<错误！未找到引用源。
(3-3)下，求信源差熵H(x)的极大值。
而均值为零，平均功率受限的情况只是它的一个特例。
其推导过程如下：设q(x)为信源输出的任意概率密度分布，因为其方差受限为σ2，所以必满足错误！未找到引用源。
dx=1和σ2=错误！未找到引用源。
dx 。
又设p(x)是方差为σ2的正态概率密度分布，即有错误！未找到引用源。