当前位置：文档之家 › 信息论与编码 第二版 第2章 .ppt

信息论与编码 第二版 第2章 .ppt

  • 格式：ppt
  • 大小：494.01 KB
  • 文档页数：33

下载文档原格式

  / 33

合集下载

《信息论与编码》课件1第2章

《信息论与编码》课件1第2章

I(ai)是一个随机变量并不难理解。因为ai发生可以使收 信者获得大小为I(ai)的自信息，然而在信源未发出消息之 前，收信者不仅对ai是否发生具有不确定性，而且对于能 够获得多少自信息也是不确定的。因此，伴随着X=ai的随 机发生而发生的自信息I(ai)是一个随机变量，并且与随机 变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率 为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论与编码(第二版)陈运主编课件第二章 (5)

信息论与编码(第二版)陈运主编课件第二章 (5)

信息论与编码
Information Theory and coding
内蒙古工业大学 电子信息工程系 宋丽丽
Email: songlili@
有记忆的特点：
1
2 3
有限记忆长度； 信源输出不仅与符号集有关，而且与状态有限的相关符号组构成的序列


?
冗余度与传输效率 冗余度与传输可靠性 冗余度与英语学习
对英语信源： 信息变差：
I 0 H 0 H
对离散信源，信源符号等概率分布时熵最大，其平 均自信息量记为: H0＝log q 由于信源符号间的依赖关系使信源的熵减小，使下 式成立：

log q H 0 H1 H 2 ... H m1 ... H
信源符号之间依赖关系越强，每个符导提供的平均 信息量越小。 为此，引入信源的冗余度来衡量信源的相关程度(有 时也称为多余度)。
H 3 0.801(bit sign )
ej
1
H 并非在任何情况下都存在，对n元 m阶马尔可夫信源
1
平稳信源（如果不平稳则先把其变成分段平
稳的）。
2
p(e j )存在，j 1, 2, , n
m
2
m阶马尔可夫与一般记忆长度为m的有记忆信源 的区别：
马尔可夫信源发出一个个符号，有限长度有记忆 1 信源发出一组组符号；
N


k N m 1 n k N 1
n
p ( ak ak
N m
ak
N m 1
ak a k
N m
)}
N 1



k1 1 k m1 1
n
n
p (ak ak ) log p(
精品课件-信息论、编码及应用-第2章

精品课件-信息论、编码及应用-第2章

第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 单符号离散信源的数学模型 2.2 自信息和信息函数 2.3 信息熵 2.4 信息熵的基本性质 2.5 联合熵和条件熵的分解与计算 2.6 信息熵的解析性质 2.7 离散信源的最大熵值 2.8 多符号离散平稳信源 2.9 多符号离散平稳无记忆信源及其信息熵 2.10 多符号离散平稳有记忆信源及其信息熵 2.11 信源的相关性与冗余度
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
上述对应的数学表达式为
(2-3)
I(ai；bj)=I(ai)－I(ai|bj)
为了便于引出一个重要的结果，我们不妨假定信道中没有
噪声的随机干扰，这时，显然有bj=ai本身，收信者确切无误地 收到信源发出的消息。那么，收到bj后，对ai仍然存在的不确 定性等于0，即I(ai|bj)=0。这样，根据式(2-3)，收到bj后，从 bj中获取关于ai的信息量为I(ai；bj)=I(ai)－I(ai|bj)=I(ai), 这个I(ai)也就是ai本身所含有的信息量，即信源能提供的全部 信息量，我们称I(ai)为ai的自信息量。
(1) 若P(a1)>P(a2)，则I(a1)<I(a2)，即f[P(ai)]是P(ai) 的单调递减函数；
(2) 若P(ai)=0，则f [P(ai)]→∞； (3) 若P(ai)=1，则f [P(ai)]=0；
第2章 离散信源及其信息测度
(4) 若两个事件ai和bj统计独立，则ai和bj的联合信息量应 等于它们各自的信息量之和，即I(aibj)=I(ai)+I(bj)。如有两 个统计独立的信源X和Y，它们的信源空间分别是
{1，2，3，4，5，6}中的任何一个，不可能是这个集合以外的符号，
信息论与编码第二章(1、2节)

信息论与编码第二章(1、2节)

以2为底比特bit以10为底奈特nat取自然对数笛特det0693nat0301det2不确定度不确定度是信源符号固有的不论符号是否发出自信息量是信源符号发出后给予收信它与自信息量在数字上大小相等但表示的物理含义不一样
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
信息论与编码第2章信源与信息熵PPT课件

信息论与编码第2章信源与信息熵PPT课件

pji(l)p(ul Si |ul1Sj)
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
信息论与编码技术chap2信源及其熵.ppt

信息论与编码技术chap2信源及其熵.ppt


例：语音信号、热噪声信号、遥控系统中有关电压、 温度、压力等测得的连续数据等等。
数学模型：连续型的概率空间。即：
X p(x)
(a, b)
p(x)
满足
b
p(x)dx 1
a
或
R
p(
x)
或 p(x)dx 1
R
平稳随机序列信源
总体特点：
信源输出的消息由一系列符号序列所组成，可用N
维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X
更一般情况：随机波形信源
实际信源输出的消息常常是时间和取值都是连续 的。这类信源称为随机波形信源。
随机波形信源在某一固定时间 t0 的可能取值是连 续和随机的。对于这种信源输出的消息，可用随 机过程来描述。
例：语音信号X(t)、热噪声信号n(t)、电视图像信 号X(r(t),g(t),b(t))等时间连续函数。
p(ai) (i=1,2,…,q) 满足： q p(ai ) 1
i 1
则：
X P(x)
a1
P(a1
)
a2 P(a2 )
a3 P(a3 )
... ... ... ...
aq P(aq )
▪概率空间能表征离散信源的统计特性，因此也称概率 空间为信源空间。
连续信源
特点：输出是单个符号（代码）的消息，输出消 息的符号集A的取值是连续的，可用一维的连 续型随机变量X 来描述。
数学模型是X信源空间的N重空间：
XN
P(iBiblioteka )1P(1
)
2 P( 2 )
... ...
qN P( qN
)
N
其中，P( i ) P(aik ), ik (1,2,..., q) k 1
《信息论与编码》课件

《信息论与编码》课件


发展趋势与未来挑战
探讨信息论和编码学领域面临的未 来挑战。
介绍多媒体数字信号压缩和编码技术的发展和应用。
可靠的存储与传输控制技术
解释可靠存储和传输控制技术在信息论中的重要性。
生物信息学中的应用
探讨信息论在生物信息学领域的应用和突破。
总结与展望
信息论与编码的发展历程
回顾信息论和编码学的发展历程和 里程碑。
信息技术的应用前景
展望信息技术在未来的应用前景和 可能性。
介绍误码率和信噪比的定义和关系。
2
码率与修正码率的概念
解释码率和修正码率在信道编码中的重要性。
3
线性码的原理与性质
探讨线性码的原理、特点和应用。
4
编码与译码算法的实现
详细介绍信道编码和译码算法的实现方法。
第四章 信息论应用
无线通信中的信道编码应用
探索无线通信领域中信道编码的应用和进展。
多媒体数字信号的压缩与编码技术
《信息论与编码》T课 件
# 信息论与编码 PPT课件
第一章 信息的度量与表示
信息的概念与来源
介绍信息的定义，以及信息在各个领域中的来源和 应用。
香农信息熵的定义与性质
介绍香农信息熵的概念和其在信息论中的重要性。
信息量的度量方法
详细解释如何度量信息的数量和质量。
信息压缩的基本思路
探讨信息压缩的原理和常用方法。
第二章 信源编码
等长编码与不等长编码
讨论等长编码和不等长编码的特点 和应用领域。
霍夫曼编码的构造方法与 性质
详细介绍霍夫曼编码的构造和优越 性。
香农第一定理与香农第二 定理
解释香农第一定理和香农第二定理 在信源编码中的应用。
PPT信息论与编码-第2章 离散信源资料

PPT信息论与编码-第2章 离散信源资料


3 有记忆信源
p( X) p( X i aki ), ki 1,2,
i 1
N
,q
信源先后发出的符号是互相依赖的,如中文序列; 需要引入条件概率分布说明它们之间的关联性; 实际上信源发出符号只与前若干个符号(记忆长 度)有较强的依赖关系.
2018年11月23日星期五 3（-10:55），4（-11:50） 12
2018年11月23日星期五
3（-10:55），4（-11:50）
3
2.1 信源的数学模型及分类
研究对象: 通过消息(信息载荷者)研究信源; 研究范围:
不研究信源的内部结构、产生消息原因和方法; 研究信源输出可能消息的数目和不确定性;
描述方法: 用一个样本空间X及其概率测度
P——概率空间[X,P]描述信源;
f [ pi ] log pi
2018年11月23日星期五 3（-10:55），4（-11:50） 19
2.2.1 自信息
4 自信息的两个含义
当事件ai发生以前, 表示事件ai发生的不确定性;
当事件ai发生以后, 表示事件ai所含有(或所提供) 的信息量.
在无噪信道中, 事件ai发生后, 能正确无误地传输到 收信者, 所以可代表接收到消息ai后所获得的信息 量.这是因为消除了I(ai)大小的不确定性, 才获得这 么大的信息量。
2018年11月23日星期五 3（-10:55），4（-11:50） 4
2.1 信源的数学模型及分类
分类方法:
根据消息的不同随机性质进行分类;
随机变量
随机矢量
信源可能输出的消息数:
离散信源
连续信源.
2018年11月23日星期五
《信息论、编码及应用》课件第2章

《信息论、编码及应用》课件第2章


r
H (X ) P(ai )logP(ai )
i1
H[P(a1), P(a2 ),, P(ar )]
H(P)
(2-11)
第2章 离散信源及其信息测度
2.4.2 对称性 根据式(2-11)，并根据加法交换律可知，当变量P1，
P2，…，Pr的顺序任意互换时，熵函数的值保持不变，即 H (P1, P2 ,, Pr ) H (P2 , P1,, Pr ) H (Pr , Pr1,, P1) (2-12)
在数学上可证明，同时满足以上四个公理条件的函数形 式为
I (ai )
f
[P(ai
)]
l
b
1 P(ai
)
lb P(ai )
(2-7)
在式(2-7)和后面的章节中，采用以2为底的对数，所得信息量的 单位为比特。
第2章 离散信源及其信息测度
2.3 信 息 熵
2.3.1 信息熵的数学表达式 为了求得整个信源所提供的平均信息量，首先，我们应
存在的平均不确定性。例如有三个信源X1，X2，X3，它们的 信源空间分别是：
X1
P(
X
1
)
a1 0.5
0a.25,
X2
P(
X
2
)
a1 0.7
0a.23,
X3 P( X 3
)
a1 0.99
a2 0.01
(3) 用信息熵H(X)来表示随机变量X的随机性。
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 单符号离散信源的数学模型 2.2 自信息和信息函数 2.3 信息熵 2.4 信息熵的基本性质 2.5 联合熵和条件熵的分解与计算 2.6 信息熵的解析性质 2.7 离散信源的最大熵值 2.8 多符号离散平稳信源 2.9 多符号离散平稳无记忆信源及其信息熵 2.10 多符号离散平稳有记忆信源及其信息熵 2.11 信源的相关性与冗余度
信息论与编码(第二版)陈运主编课件第二章 (2)

信息论与编码(第二版)陈运主编课件第二章 (2)

可以证明
H(X Y) H(X )
(2.1.28)
已知Y后，从中得到了一些关于X的信息，从而 使X的不确定度下降。
信息熵的基本性质

上凸性
熵函数具有上凸性，所以熵函数具有极值， 其最大值存在。
加权熵的概念(了解)
定义信息的
n
加权熵
H ( X ) i p(ai )log p(ai )
1 式中 p(ai ) 1 。当且仅当x 1, np(ai ) i 1 1 即p(ai ) 时，上式等号成立。 n
对于单符号离散信源，当信源呈等概率分布时具 有最大熵。
n
举例
二进制信源是离散信源的一个特例。
1 x 0 p(x) 1
其中 0 p(ai ) 1, i 1,2,, n, 且 p(ai ) 1
i 1
n
信源熵
各离散消息自信息量的数学期望，
即信源的平均信息量。
n 1 H ( X ) E[ I (ai )] E[log2 ] p(ai ) log2 p(ai ) p(ai ) i 1
j 1 i 1 m n
信道疑义度, 损失熵
p(aib j )log p(ai b j )
j 1 i 1
m
n
(2.1.17)
H (Y X ) E[ I (b j ai )]
n m
噪声熵
(2.1.18)
p ( ai b j ) log p (b j ai )
i 1 j 1
i 1
(2.1.32)
加权熵从某种程度上反映了人的主观因素
例
下雪
小结与作业

信源熵 性质，最大离散熵定理
信息论与编码第二版第2章ppt

信息论与编码第二版第2章ppt

则消息所含的信息量为 60×H(X)=114.3bit
3. 联合熵和条件熵 （1）联合熵（共熵）
联合熵是联合符号集合（X,Y）的每个元素对
(xi , y j ) 的自信息量的概率加权统计平均值，它表
示X和Y同时发生的不确定度。定义为
H XY pxi , yjI xi , yj ij pxi , yj log pxi yj ij
H
(V
|
u0
)
H
(1 4
,
3) 4
0.82bit
/
符号
（2）已知发出的符号，求收到符号后得到的信息量；
11
H (V | U ) p(ui , v j ) log p(v j | ui ) i0 j0
p(u0 , v0 ) p(v0 | u0 ) p(u0 ) 3 / 8 p(u0 , v1) 1/ 8 p(u1, v0 ) 1/ 4 p(u1, v1) 1/ 4
P(x 0, y 0) P( y 0 | x 0)P(x 0) 1/ 2 P(x 0, y ?) 1/ 6, P(x 0, y 1) 0 P(x 1, y 0) 0, P(x 1, y ?) 1/ 6 P(x 1, y 1) 1/ 6
H (Y | X ) p(xi , yi ) log p( yi | xi ) 0.88bit / 符号 ij
“o”的自信息量 I (o)= - log2 0.001=9.97 bit;
例: 居住某地区的女孩中有25％是大学生，在女大学生中有75％ 身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得 知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息 量？
解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p( x1)=1/4 ; p (x2)=1/2;

信息论与编码(第二版)陈运主编课件(全套)


？信息究竟是什么呢？
1928年,美国数学家 哈 特 莱 (Hartley)在 《贝尔系统电话杂志》上发表了一篇题为《信 息传输》的论文。他认为“信息是选择的自由
度”。
事隔20年， 香农
另一位美国数学家 (C. E. Shannon)
在《贝尔系统电话杂志》发表了题为《通信
的数学理论》的长篇论文。他创立了信息论，
信源
连 续 信 源
多符号
随机矢量
随机过程
单符号离散信源
信源发出的消息是离散的，有限的或可数的， 且一个符号代表一条完整的消息。 例如： 投骰子每次只能是{1，2，…6}中的某 一个。 其中的数叫做事件/元素，以一定的概率出现；

信源可看作是具有一定概率分布的某些符号的 集合。
单符号离散信源的数学模型
所表述的相应事物的运动状态及其变化方式（包 括状态及其变化方式的形式、含义和效用）。
全信息 全信息
同时考虑事物运动状态及其变化 方式的外在形式、内在含义和效用价值的认识
语法信息 论层次信息。
语义信息
语用信息
信息的重要性质：
存在的普遍性 有序性 相对性 可度量性 可扩充性 可存储、传输与携带性 可压缩性 可替代性
地渗透到诸如医学、生物学、心理学、神经生理学等自然 科学的各个方面，甚至渗透到语言学、美学等领域。
通信系统模型
信源 信源编码 加密 信道编码 调制器
噪声源
信 道
信宿
信源译码
解密
信道译码
解调器
信息论研究对象
1
一般信息论
信号滤波 预测理论
调制 理论
香农 信息论
噪声 理论
统计检测 估计理论
2 香农信息论
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
则消息所含的信息量为 60×H(X)=114.3bit
3. 联合熵和条件熵 （1）联合熵（共熵）
联合熵是联合符号集合（X,Y）的每个元素对
3个信息量单位之间的转化关系为：
1 nat = log2 e = 1.433 bit
1 det = log210 = 3.322 bit
2. 随机事件的不确定性
出现概率大的随机事件，包含的不确定性小， 即自信息量小；
出现概率小的随机事件，包含的不确定性大， 即自信息量大；
出现概率为1的随机事件，包含的不确定性为 0，即自信息量为0；
i
i
单位
bit / 符号
nat / 符号
det / 符号
2. 信源熵（信源的平均不确定度） 信源熵H(X)，表示平均意义上信源的总体
特性，是在总体平均意义上的信源不确定性。 信源熵在数量上等于平均自信息量，
H ( X ) p(xi )I (xi ) p(xi ) log p(xi )
于是有
I (xi , y j ) I (xi ) I ( y j )
条件自信息量：
当 xi 和 y j 相互联系时，在事件 y j出现的条
件下， xi 的自信息量称为条件自信息量，定义为
I (xiyj ) log p(xiyj ) p(xiy j ) 为在事件 y j出现的条件下，xi 发生的
2.2 离散信源熵和互信息
2.2.1 自信息量 2.2.2 离散信源熵
要求：1. 掌握自信息量、联合自信息量和条 件自信息量的含义和计算方法；
2. 掌握单符号熵、条件熵与联合熵的 含义和计算方法。
2.2.1 自信息量
信源发出某一符号 xi (i 1,2, , n) 后，它提供
多少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量，

log
3 8

1.42
bit
2.2.2 离散信源熵
1. 平均自信息量
对于一个给定信源，各个符号的自信息量是与各 自的概率分布有关的一个随机变量，不能作为信源总 体的信息量度，我们采用求平均的方法。定义自信息 量的数学期望为信源的平均自信息量，即
E[I ( X )] p(xi )I (xi ) p(xi ) log p(xi )
i
i
但两者的含义不同：
平均自信息量：消除信源不确定度时所需要 的信息的量度，即收到一个信源符号，全部解 除了这个符号的不确定度。或者说，获得这样 大的信息量后，信源不确定度就被消除了。
信源平均不确定度（信源熵） ：在总体平均 意义上的信源不确定度。不管是否输出符号， 只要这些符号具有某种概率分布，就决定了信 源的平均不确定度（信源熵）。
例2-5 设信源符号集X＝{x1,x2,x3},每个符号发 生的概率分别为p(x1)=1/2， p(x2)=1/4， p(x3)=1/4，求信源熵H(X)。
解： H ( X ) p(xi ) log p(xi )
i
＝ 1 log 1 1 log 1 1 log 1 1.5bit / 符号 2 24 44 4
２ p xi 1 ，I xi 0;
３ 非负性；
４ 单调递减性；
５ 可加性：
5. 联合自信息量与条件自信息量
若有两个符号 xi 、y j 同时出现，用联合概率
p(xi , y j ) 来表示，联合自信息量为
I (xi , y j ) log p(xi , y j )
当 xi 和y j 相互独立时，有p(xi , y j ) p(xi ) p( y j )
即该信源中平均每个符号所包含的信息量 为1.5bit。
例: 已知某信源的概率空间为
X

P




0 3
8
1 1
4
2 1
3 1

4 8
求由该信源发出60个符号构成的消息所含的信 息量。
解：先求平均每个符号的信息量，即信息熵
H (X ) H (3 , 1 , 1 , 1) 1.905bit / 符号 8448
“女大学生中有75％身高为1.6m以上”即
p(x2 | x1)=3/4; 事件“身高1.6m以上的某女孩是大学生”出现的概率为
p( x1
|x2)
p(x1, x2 ) p(x2 )

p(x2
| x1 ) p(x1 ) p(x2 )

3 8
则信息量
I
( x1
|
x2
)


log
p( x1
|
x2)Biblioteka 在数量上等于通信前后不确定性的消除(减少)的量。
1. 定义：任意随机事件的自信息量定义为该事件发生概 率的对数的负值。 如：定义为具有概率为p(xi)的符号xi的自信息量为 I (xi)= - log p(xi) 说明：自信息量的单位与所用的对数的底数有关。 对数底数为2，信息量单位为比特（bit）； 对数底数为e，信息量单位为奈特（nat）； 对数底数为10，信息量单位为笛特（det）；
3. 不确定度与自信息量：
信源符号自信息量：指某一符号出现后，提 供给收信者的信息量；
信源符号不确定度：它是信源符号固有的， 不管符号是否发出，都存在不确定度。
信源符号自信息量与信源符号不确定度在数量 上相等，两者单位也相同。
4. 自信息量的特性：
１ pxi 0 ，I xi ;
条件概率。
p(xi , y j ) p(xi | y j ) p( y j )
I (x, y) I (xi | y j ) I ( y j )
例2-3：英文字母中“e”的出现概率为0.105， “o”的出现概率为0.001。分别计算它们的自 信息量。
解： “e”的自信息量 I (e)= - log2 0.105 =3.25bit;
“o”的自信息量 I (o)= - log2 0.001=9.97 bit;
例: 居住某地区的女孩中有25％是大学生，在女大学生中有75％ 身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得 知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息 量？
解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p( x1)=1/4 ; p (x2)=1/2;