2.3连续信源

格式：ppt
大小：584.50 KB
文档页数：30

下载文档原格式

信息论与编码-第2讲-信源及信息度量1

自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，

这些符号的取值是有限的或可数的。单符号离散信源：只涉及一个随机事件，可用随机变量描述。多符号离散信源：每次输出是一个符号序列，序列中每一位出现

② 联合自信息量

信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1

计算y1与各种天气之间的互信息量对天气x1，不必再考虑对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i

验概率的函数。

函数f [p(xi)]应满足以下4个条件根据上述条件可以从数学上证明这种函数形式是对数形式。

信息论第二章(2)

5 联合自信息量：
若有两个消息xi，yj 同时出现，它们所带有的信息量，称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自信息量
I ( xi y j ) log p( x｜y j ) （bit）｜ i

i

j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,

信源及信源熵介绍

14
2.2.1 自信息量
2. 不确定度定义：随机事件的不确定度在数量上等于它的自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0 p（xi）1，故信源的平均不确定度H（X）也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文 N=100001000=104000 篇仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源离散有记忆信源
{ {
5
发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源

信息论与编码,曹雪虹,课件第2章-2

信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35

信息论与编码-教案

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：
1平均互信息的凸函数性，以二进制信源送入二进制对称信道为例，仔细推导最后得出结论，平均互信息量是信源概率分布p(x)和信道传递概率p(x|y)的凸函数。讲解55分钟
2数据处理定理，讲解20分钟
3加权熵的概念及基本性质，加权熵从某种程度上反映了人的主观因素。信源平均每发出一个消息，总能提供一定的信息量，最差是零。信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。香农最大熵可看成是加权熵在权重系数都为1时的特例。讲解15分钟
4讲解练习题，讲解60分钟
作业及课外训练：2.17
参考资料（含参考书、文献等）：
课后自我总结分析：
周次
第6周，第9次课
编写时间
2009.10.2
章节名称
2.3连续信源—2.4离散无失真信源编码定理
教学目的与要求：
参考资料（含参考书、文献等）：
课后自我总结分析：
理解离散平稳信源条件熵和极限熵的性质至关重要。
周次
第4周，第7次课
编写时间
2009.9.18
章节名称
2.2.4马尔可夫信源
教学目的与要求：
掌握马尔可夫信源的特点及其极限熵的求解，了解马尔可夫链的性质。
教学重点和难点：
教学重点：马尔可夫信源的特点
教学难点：马尔可夫信源极限熵的求解
2相对率，讲解10分钟
3信息变差，信源最大可能熵与实际熵的差值定义为内熵。相对率、剩余度、内熵均可用来表示信源的剩余情况。信源的剩余度表示信源的可压缩程度。从提高信息传输效率的观点出发，总是希望减少或去掉剩余度（信源编码）。从提高抗干扰能力的角度出发，总是希望增加或保留剩余度（信道编码）。

信息论第2章(2010)

ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息量应为零。如果一个几乎不可能事件发生了（概率趋于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件构成的消息，那么我们得到的信息量就是若干个独立事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？

信息论

【例1】计算只能输出“1”和“0”两个消息(状态)的简单二元信源的熵。解：假设p(1)=p, p(0)=1-p(0≤p≤1)
H ( x ) - p( xi ) log p( xi ) - p log p - (1- p) log(1- p)
i 1 N
(1)当p=1/2时，H(x)=1bit/符号 (2)当p=0或p=1时，H(x)=0
损失了信息量 p( x2 | y1 ) 3/8 I ( x2 , y1 ) log = log = 0.415bit
p( x 2 | y2 ) 3/ 4 I ( x2 , y2 ) log = log =0.585bit p( x2 ) 1/ 2
2013-10-26 18
p1 p2 pN 1/ N
当 p1 p2 pN 1/ N时，H max ( x) log N
2013-10-26 25
2.3 二元联合信源的共熵与条件熵
2013-10-26
26
2.3.1 二元联合信源的共熵
1.定义二元联合信源的共熵是指二元联合信源(X,Y)输出一个组合消息状态所发出的平均信息量，也称为联合熵，记作H(x,y)。 2.表达式
2013-10-26 24
令： F
p1 F (1 log p2 ) 0 p2

(1 log p1 ) 0
F (1 log pN ) 0 pN
可得代入到约束方程可得因此
p1 p2 pN e 1
1 1 H ( x) k log (2.1) H ( x) log -log P log N (2.2) P P 对数可以取2、e、10为底，相应不确定程度的单位分别为比特(bit)、奈特(nat) 、哈特莱(Hartley) 。

2.2 多符号离散信源的熵

16
17

（2）某时刻信源所处的状态由该时刻输出的符号和前一时刻的状态唯一确定。
发akm1 发akm2 发......
ak1 ak2 akm ak2 akm akm1 ak3 akm1 akm2
Si Si+1 Si+2
问：m阶马尔可夫信源最多有多少种状态？ nm
所有的状态构成状态空间S，每种状态以一定的概率发生，则得到的数学模型就是 Байду номын сангаас阶马尔可夫信源的数学模型。
10

解：
3
H ( X ) p(ai ) log p(ai ) 1.542bit / 符号
i 1
H ( X 2 | X 1 ) p(ai ) p(a j | ai ) log p(a j | ai ) 0.870bit / 符号
i 1 j 1
3
3
H ( X 2 ) H ( X 1 X 2 ) H ( X ) H ( X 2 / X 1 ) 2.412bit / 双符号 1 平均符号熵H N ( X ) H ( X N ) N 1 H 2 ( X ) H ( X 2 ) 1.206bit / 符号 2
20
则：
H H m 1 H ( S j | Si )
nm i , j 1 nm
令所有的状态组成一个状态集合Si 或Sj
p( si s j ) log p( s j | si ) p( si ) p( s j | si ) log p( s j | si )

所谓平稳是指序列的统计性质与时间的推移无关。

非平稳随机序列：信源每发一个符号的概率与时间起点有关。离散无记忆信源：信源序列的前后符号之间是统计独立的。

信息论汇总马尔科夫信源

一个常数Wj
• Wj ：马尔可夫链一个平稳分布，
• Wj [或p(sj)]就是系统此时处于状态sj概率。
信息论汇总马尔科夫信源
18
18/32
例4
Wi pij W j
i
0.6W0 0.4W0
0.3W1 0.7W1
0.2W2 0.8W2
W0 W1
W2
W0 W1 W2 1
W0 0.3571, W1 0.1429, W2 0.5
信息论汇总马尔科夫信源
0/0.4
1/0.6
so
1/0.2
s1
0/0.3 1/0.7
s2
0/0.8
0.6 0.4 0 p(s j | si ) 0.3 0 0.7
0.2 0 0.8
19
19/32
• 例5：有一个二元二阶马尔可夫信源,其信源符
号集为{0，1}，已知符号条件概率：
p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5
(0)0.3
s1
•
抵达状态s1和s2 : 若处于s1 ,以0.3和0.7概率发
(0)0.5
s0
出0和1抵达s3和s4
(1)0.5
(1)0.7 (0)0.4
• 若处于s2,以0.4和0.6概率发出0和1抵达s5和s6
s2 (1)0.6
00 s3
01 s4 10 s5 11 s6
25
信息论汇总马尔科夫信源
p(s1 | s1) p(s4 | s4) 0.8,
p(s3 | s2) p(s1 | s3) p(s4 | s2) p(s4 | s2) p(s2 | s3) 0.5;

2.3二元联合信源的联合熵与条件熵

2.3二元联合信源的联合熵（共熵）与条件熵讨论两个信源的情况。

如前所述，信源的概率空间为：⎥⎦⎤⎢⎣⎡)(Xp X 类似地信源的概率空间为：⎥⎦⎤⎢⎣⎡)(Y p Y 这两个信源，即二元联合信源的概率空间，可以由其联合概率空间来描述。

2.3.1共熵研究二元联合信源的熵即共熵。

二元联合信源的共熵可以按照单信源熵的定义写出：∑∑==-=ni mj xiyj lbp xiyj p XY H 11)()()(研究单信源熵与联合概率的关系.2.3.2条件熵条件熵不能由单信源熵定义直接写出，而是由其共熵导出。

H(XY)=H(X)+H(Y/X) (2.3.3)二元联合信源的共熵还可以写成：H(XY)=H(Y)+H(X/Y)(2.3.4)[例2.3.1]仍以[例2.1.5]为例验证式（2.3.3），（2.3.4）的正确性。

推论１：推论２：[例2.3.2]有一离散信源具有三个消息A、B、C，发出的消息序列前后符号具有相关性，其中相关性可用下表中的条件概率来描述，求该离散信源的熵。

某地二月份天气构成的信源为现有人告诉你:“今天不是晴天。

”，把这句话作为收到的消息y1。

当收到消息y1 后，各种天气发生的概率变成后验概率了。

其中计算与各种天气之间的互信息量。

各种熵之间的关系⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321雪雨阴晴x x x x X P X 41)/(;41)/(;21)/(;0)/(14131211====y x p y x p y x p y x p 互信息量为负值的不确定度更大反而使的不确定度减少不仅没有使后说明收到消息比特的不确定度各减少了使也可理解为消息比特的信息量各分别得到了这表明从同理对天气信息量之间与不必再考虑对天气→-∞========∴=。

x ，x ，y bit x p y x p y x I 。

，x x ，x y ，，x ，x x y bit y x I y x I bit x p y x p y x I x 。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

i 1 i i
N
dx1 dxN
（2.3.10）
log 2 (bi ai )
i 1
可见，N维统计独立均匀分布连续信源的熵是N维区域体积的对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的体现，因为各维区域的边界决定了概率密度函数的总体形状。
H c ( X ) log 2 (bi ai )
i 1
n
lim H ( X ) lim p (ai ) log 2 p( ai ) lim p (ai ) log 2 n n n i i 0 0 0
p ( x ) log p ( x )dx lim( p (ai ) ) log 2
显然，当 b a 1 时，Hc(X)<0，这说明它不具备非负性。但是连续信源输出的信息量H(X)由于有一个无限大量的存在，H(X)仍大于0。
b
这里，仍将Hc(X)定义为连续信源的熵，理由有二：
一是由于它在形式上与离散熵相似 ;
离散熵：连续熵：
H ( X ) p(ai ) log 2 p(ai )
3. 平均互信息的非负性定义连续信源的无条件熵和条件熵之差为连续信源的平均互信息。记为，即有
Ic ( X ;Y ) Hc ( X ) Hc ( X / Y )
I c (Y ; X ) H c (Y ) H c (Y / X )
连续信源的平均互信息仍保留了非负性，即
I C ( X ;Y ) I C (Y ; X ) 0
不能把它作为ห้องสมุดไป่ตู้息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
一维连续随机变量X在[a,b]区间内均匀分布时，已求得其熵
为
H c ( X ) log 2 (b a)
若N维矢量中各分量彼此统计独立，且分别在的区域内均匀分布，即有 N 1 , x (bi ai ) N i 1 (bi ai ) p ( x) i 1 N 0 , x (bi ai ) i 1
容易证明，连续信源的平均互信息也满足对称性，即
I C ( X ; Y ) I C (Y ; X )
连续信源也满足数据处理定理，把连续随机变量Y处理成另一随机变量Z时，一般也会丢失信息。即
Ic ( X ;Y ) 0 I c ( X ; Y ) I c (Y ; X ) Ic ( X ; Z ) Ic ( X ;Y )
1 2 2

( x m )2 2 2
e
dx
p( x)( log 2

( x m) 2 2 2 )dx p( x)(log 2 e) dx 2 2

因为

p( x)dx 1
( x m) 2 1 p( x) 2 2 dx 2
指数分布的连续信源的熵为
H c ( X ) p ( x) log 2 p( x) dx
0

0
x 1 m p( x) log 2 e dx m
x 1 m p ( x) e m

m
m

0
p( x)dx 1

Hc ( X ) p( x)log 2 p( x)dx p( x) log 2 1 e x / m dx 0 0
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而连续信源的熵Hc(X)则是一个相对值，且取值是有限的。这一点可以这样理解：因为连续信源的可能取值数是无限多个，所获得的信息量也将为无限大。在离散信源中信源输出信息量就是信源熵，两者是一个概念；
可以证明，N维均匀分布连续信源的熵为
H c ( X ) H c ( X 1 X 2 X N ) p( x ) log 2 p( x )dx1 dx N
aN a1
bN
b1

aN a1 N
bN
b1
1
(b a )
i 1 i i
N
log 2
1
(b a )
当均值m=0时，X的方差σ2就是随机变量的平均功率，即
P x p( x)dx
2

由这样的随机变量X所代表的连续信源，称为高斯分布的连续信源。
高斯分布连续信源的熵为
H c ( X ) p( x) log 2 p( x)dx p( x) log 2

I 1
N
H c ( X ) p( x ) log 2 p( x )dx
R
用积分代替求和
p ( xi ) p ( x ),
dx
i 1 R
n
另一个更重要的原因是在于实际处理问题时，比如互信息、信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互信息。这时，只要相差的两个连续熵在逼近时可取的间隔Δ是一致的，两个同样的无限大的尾巴就可以互相抵消。可见，Hc(X)具有相对性，它是为了引入互信息等重要概念而引入的一个过渡性的概念。
R X : p( x)
并满足 p( x)dx 1
R
其中，R是全实数集，是变量X的取值范围。量化单位越小，则所得的离散变量和连续变量越接近。因此，连续变量的信息度量可以用离散变量的信息度量来逼近.
p(u) p(x)
第i个区间
a uii
a a+(i-1)△ a+i△ b
u x
3.指数分布连续信源的熵
若一随机变量X的取值区间是[0，∞），其概率密度函数为
1 m p( x ) e m
x
( x 0)
则称X代表的单变量连续信源为指数分布的连续信源。其中常数m是随机变量X的数学期望
E ( X ) xp ( x)dx
0

0
x 1 m x e dx m m
1 1 H c ( X ) log2 2 log2 e log2 2 e 2 所以 2 2 上式说明高斯连续信源的熵与数学期望m无关，只与方差σ 2 有关。
2
在介绍离散信源熵时讲过，熵描述的是信源的整体特性。
由高斯函数的曲线可见，当均值m发生变化时，只是p(x)的对称中心在横轴上发生平移，曲线的形状没有任何变化。也就是说，数学期望m 对高斯信源的总体特性没有任何影响。但是，若X的方差σ2不同，曲线的形状随之改变。所以，高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。

由于则
log 2 x log 2 e ln x

H c ( X ) log 2 m
0
log 2 e p( x)dx 0 xp( x)dx log 2 me m
上式说明: 指数分布的连续信源的熵只取决于均值m.这一点很容易理
解，因为指数分布函数的均值，决定函数的总体特性.
令x∈[a,b]，且a<b，现将它均匀划分为n份，每份宽度为△ ＝（a-b）/n，则变量落在第i个区间的概率为pi，则
( a i△)
pi
使上式成立。
[ a ( i 1)△]
p( x)dx p(ai ) △
（中值定理）
即当p(x)为x的连续函数时，由中值定理，必存在一个ai值，
此时连续变量X就可以用取值为 xi (i
p( x )dx p( x )dx 1
a
b
再按照离散信源信息熵的定义有：
H ( X ) ( pi ) log 2 ( pi ) p( ai ) log 2 p( ai )
i 1 i 1 n n
p( ai ) log 2 p (ai ) log 2
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加性，但不一定满足非负性，它不具有信息的全部特征。例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
R'
R2
H c (Y / X ) p( xy ) log 2 p ( y / x)dxdy
它们之间也有与离散信源一样的相互关系，并且可以得到有
R2
信息特征的互信息：
Hc( XY ) Hc( X ) Hc( X / Y ) Hc(Y ) H c (Y / X )
这样定义的熵虽然形式上和离散信源的熵相似，但在概念上
同理，还可进一步定义如下连续随机变量的熵。两个连续变量的联合熵和条件熵分别为：连续信源熵
联合熵条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
2. 高斯分布的连续信源的熵
设一维随机变量X的取值范围是整个实数轴R，概率密度函数呈正态分布，即