当前位置：文档之家 › 第二章 信源熵r

第二章 信源熵r

  • 格式：ppt
  • 大小：5.70 MB
  • 文档页数：221

下载文档原格式

  / 221

合集下载

第2章信源熵

第2章信源熵
16
2.1.3 信源熵基本性质(续)
4. 扩展性： 信源含有的新增消息为小概率时， 熵不变 5. 确定性：某消息取值概率为1时，熵为0 6. 可加性： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 7. 极值性： H n [ p( x1 ), p( x2 ),, p( xn )] p( xi ) log 2 p( xi )
信源 X
信道
信宿 Y
9
2.1.2 自信息和信源熵(续)
二 、互信息和条件互信息 p( xi / y j ) 1. 互信息 I ( xi ; y j ) log 2 (2.1.7) p( xi ) (1) yj对xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) (2.1.8) p(xi) ——先验概率：信源发xi的概率 p(xi/yj)——后验概率：信宿收到yj后， 推测信源发xi的概率 [含义] 互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi/yj) ＊I(xi) __信宿收到yj之前，对信源发xi的不确定度 ＊ I(xi/yj) __信宿收到yj之后，对信源发xi的不确定度 ＊ I(xi;yj) __收到yj而得到(关于xi )的互信息 =不确定度的减少量 10
20
2.1.5 平均互信息(续)
二、物理意义 1. 由(2.1.43) ： I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度 [结论]―Y已知”使得对X的不确定度减小了, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(总，有用) I(X/Y)——信宿收到的平均信息量(有用部分) [结论] H(X/Y)—因信道有扰而丢失的平均信息量， 21 故称损失熵

第二章 信源熵

第二章 信源熵

I ( xi y j ) = log 2 p ( xi y j )
XY x1 y1 , , x1 ym , x2 y1 , , x2 ym , , xn y1 , xn ym P ( XY ) = p( x y ), p( x y ), p( x y ),, p( x y ) 1 1 1 m 2 1 n m 0 ≤ p ( xi y j ) ≤ 1, ∑∑ p ( xi y j ) = 1
信息论基础 第二章 信源熵
苗立刚 ligangmiao@ 实验楼417 实验楼 电话8048018 电话 东北大学秦皇岛分校自动化工程系 2009年 2009年3月
第二章 信源熵
本章主要讨论的问题： 本章主要讨论的问题：
2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理
Y y1 , y2 , , y j , , ym 信宿 = p ( y ), p( y ), , p ( y ), , p ( y ) , ∑ p( y j ) = 1 j 1 2 j m P(Y )
2.1单符号离散信源 2.1
–信源发出消息 xi 的概率 p ( xi ) 称为先验概率，信 信源发出消息 称为先验概率 先验概率， 的概率称为后验概 宿收到 y j 后推测信源发出 xi 的概率称为后验概 率 p ( xi / y j ) 。 –定义 xi 的后验概率与先验概率比值的对数为 y j 的后验概率与先验概 比值的对数为 先验概率 定义 互信息量， 表示， 对 xi 的互信息量，用 I ( x i ; y j ) 表示，即
2.1单符号离散信源 2.1
自信息量的单位 –自信息量的单位取决于对数的底； 自信息量的单位取决于对数的底； 自信息量的单位取决于对数的底 –底为2，单位为“比特（bit）”； 底为2 单位为“比特（bit） ； 底为 –底为e，单位为“奈特（nat）”； 底为e 单位为“奈特（nat） ； 底为 –底为10，单位为“哈特（hat）”； 底为10 底为10，单位为“哈特（hat）”； –1 nat = 1.44bit , 1 hat = 3.32 bit； bit； 1 例1：从26个英文字母中，随即选取一个字母，则该事件的自 26个英文字母中，随即选取一个字母， 个英文字母中 信息量为 I = -log2(1/26) = 4.7 比特 例2：设m比特的二进制数中的每一个是等概率出现的(这样的 比特的二进制数中的每一个是等概率出现的( 数共有2 则任何一个数出现的自信息为: 数共有2m个)，则任何一个数出现的自信息为: 比特/ I = -log2(1/ 2m) = m 比特/符号

信源熵

信源熵
I ( xi ) I ( xi | y j ) 信宿收到 y j 前对消息 xi 的先验不确定度 信宿收到 y j 后对消息 xi 的后验不确定度
I ( xi ) I ( xi | y j ) 信宿收到 y j 后不确定度被消除的部分， 它是 y j 所获得的关于 xi 的部分信息量
互信息 先验不确定度 后验不确定度
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
13
互信息量(续)
在输出端考查不确定度的变化
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) log p( xi | y j )
log p( xi | y j ) p( xi )
后验概率 先验概率
在输入端考查不确定度的变化
后验不确定度 I ( xi y j ) log p( xi y j )
I ( xi ; y j ) I ( x i ) I ( y j ) I ( x i y j ) log[ p( xi ) p( y j )] log p( xi y j ) log
p( x i y j ) p( x i ) p( y j )
先验不确定度 I 先 ( xi y j ) log p( xi y j ) I ( xi ) I ( y j )
通信后，X 与 Y 之间由于信道的统计约束，存在关联关系 后验概率 p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )

第二章基本信息论6_连续信源的熵

第二章基本信息论6_连续信源的熵
2.6 连续信源的熵
一、连续信源熵的定义
♦连续信源：输出在时间和取值上都是连续的信源 连续信源：
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限， 若连续信源的频带受限，为W，则根据采样定理， ，则根据采样定理， 只要采样频率大于2W， 只要采样频率大于 ，则连续信源经采样离散 不损失任何信息。 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为： 信源，其信源熵为：
∞
1 λ1 −1 e = σ 2π ⇒ λ =− 1 2 2 2σ
− 2 1 得p ( x ) = e 2σ 为高斯分布 σ 2π
x2
P(x)
最大熵
H max ( X ) = − ∫ p ( x )log p( x )dx
−∞
x 1 − 2 = − ∫ p ( x )ln e 2σ −∞ σ 2π
H max ( X ) = − ∫
V2 −V1
V2
x
p ( x )log p ( x )dx = log(V1 + V2 )
2、输出平均功率受限的信源 、 设信源 ( X ) = − ∫ p( x )log p ( x )dx为极大值的p ( x )
−V
V
以及对应的最大熵H max ( X )， 其限制条件：
P( x )
1/ 2
0
1 dx1 3
x
P(x)
2
dx2
6 x
二、连续信源熵的性质
♦ 连续信源熵可正可负
H ( X ) = −∫
−∞
∞
p ( x )log p( x )dx
1 1 = − ∫ lb dx = −1比特/采样 3 2 2

第二章信源及信源的熵

第二章信源及信源的熵
一般地，任意 m步转移概率为： ij (m, n ) P{Sn S j | Sm Si } n P ( Sn 表示状态变量， 时刻的状态| ) n
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：

第2章 信源及其熵

第2章 信源及其熵

熵的含义



熵----考虑的是整个集合的统计特性，它从平均意义上来 表征信源的总体特征。 在信源输出前，信息熵H(X) 表示信源的平均不确定性； 在信源输出后，信息熵H(X)表示每个消息提供的平均信 息量； 信息熵H(X) 表征了变量X的随机特性。 例如，有两信源X、Y，其概率空间分别为：
例如，语音信号{X(t)} 、热噪声信号{n(t)}

离散无记忆平稳信源

离散平稳信源的特例，信源发出的符号都相互统计独 立，即各随机变量Xi (i＝1,2,…,N)之间统计独立 性质：


独立－>p (X )= p (X1, X2, …,XN)= p1(X1) · 2(X2)· · N(XN) p ·p

问题：这样的信源能输出多少信息? 每个消息的出现携带多少信息量?
信息的测度

考虑：


信息的测度（信息量）和不确定性消除的程度有关， 消除的不确定性＝获得的信息量； 不确定性就是随机性，可以用概率论和随机过程来测 度，概率小－>不确定性大； 概率小 －>信息量大，即信息量是概率的单调递减函 数； 信息量应该具有可加性； 用香农信息量公式来计算。
（1）它应是先验概率p(ai)的单调递减函数，即当 p (a1) > p (a2) 时，有 f [ p (a1)] < f [ p (a2) ] ； （2）当p (ai) =1时， f [ p (ai)] = 0 （3）当p (ai) =0时， f [ p (ai)] = （4）两个独立事件的联合信息量应等于它们分别的信息量之 和，即统计独立信源的信息量等于它们分别的信息量之和。
描述的信源X的各输出Xi间统计独立、且取值同一 例如：A={1，2，3}，N=2。则XN为： 符号集A，则X为离散无记忆信源，称该信源输出 {11，12，13，21，22，23，31，32，33 } 的N维随机矢量X 为离散无记忆信源X的N次扩展 信源

2-2 第2章 信源熵及其基本性质和定理

1、信源熵；2、条件熵；3、联合熵 信源熵； 条件熵；
2.1.3 2.1.4 2.1.5 2.1.6
信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
1
自信息量不能作为信源的信息测度
自信息量 I ( xi ), i = 1,2,... 是指某一信源X发出某一信 息符号 x i 所含有的信息量。发出的信息符号不同， 它们所含有的信息量就不同。
晴 地域A 1/2 地域B 1/2 多云 1/4 1/8 雨 1/8 1/8 冰雹 1/8 1/4
H(A) = H(B) =1.75bit 1 1 2 = log 2 + log 4 + log 8 2 4 8
17
熵函数的性质—— 2. 非负性 熵函数的性质
非负性
H(X ) = H[ p(x1), p(x2 ),L, p(xn )] H(X ) = −∑p(xi ) log p(xi ) ≥ 0
信源熵与平均自信息量数值相等，含义不同
信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信 息的度量；
信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均 信息量； 表示信源输出前，信源的平均不确定度； 反映了变量X的随机性。
9
条件熵
定义 2.1.7 联合集XY上，条件自信息量I(x|y)的 概率加权平均值定义为条件熵。其定义式为
f α X 1 + (1 − α ) X 2 < α f ( X 1) + (1 − α ) f ( X 2) ( X 1 ≠ X 2)
则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 f(x)是上凸函数 是上凸函数， f(x)便是下凸函数 反过来也成立。 便是下凸函数， 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故， 通常只需研究上凸函数

第二章 信源和信息熵


第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。

第2章信源熵--马尔科夫信源及极限熵

“基于马尔可夫链的我国城乡居民收入演进分析”
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。

第二章 信源熵


英文字母中“e”出现的概率为0.105，“c” 出现的概率为0.023，“o”出现的概率为 0.001，分别计算他们的自信息量。 答：I(e)=-logP(e)=-log0.105=3.25bit I(c)=-logP(c)=-log0.023=5.44bit I(o)=-logP(o)=-log0.001=9.97bit
②
公式：参考数学期望的性质，用各符号的自 信息量加权平均表示总体的不确定性。
H ( X ) E[ I ( X )] p( xi )I ( xi ) p( xi ) log p( xi )
i i
③
单位：比特/符号或比特/符号序列
④
I. II.
性质： 非负 与热力学熵相同形式，H(X)又被定义为信源 熵 两个特殊情况 符号 x i 的概率 pi 为零时，定义为pi log pi 0 当信源X只有一个符号，符号只有一个状态， p(x)=1,此时 H ( X ) 0 。

分析 {Xn，n=0,1,2，……}是一随机过程，其状态 空间为：I={0,1}，且当Xn=i，i=0、1时， Xn+1所处的状态分布只与Xn=i有关，而与 时刻n以前所处的状态无关，综上所述。该 过程为一步转移的马尔可夫过程。 p, j i P i, j 0,1 一步转移的概率： P{ X j X i} q, j i 一步转移矩阵： p q

II.
III.

随机过程是随机函数的集合，若一随机系统的样本点数是 随机函数，则称此函数为样本函数。这一随机系统全部样 本函数的集合是一个随机过程。实际应用中，样本函数的 一般定义在时间域或者空间域。用{X（t），t Y }。 具有马尔可夫性的随机过程称为马尔可夫过程。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

离散信源。可用离散随机变量来描述。
多符号离散信源 涉及多个随机事件的离
散信源。可用随机矢量来描述。 连续信源 输出连续消息的信源。可用随
机过程来描述。
信 源分类
离 散 信 源 单符号
随机变量
信源
连 续 信 源
多符号
随机矢量 随机过程
对于离散随机变量，取值于集合
a1
, a2 , , ai , , an
p(ai / b j ) p(b j ) p(ai ) p(b j )
p(ai b j ) / p(ai )
2 当X和Y相互独立时，互信息为0
I (ai ; b j ) log2 p(ai b j ) p(ai ) p(b j ) log2 p(ai ) p(b j ) p(ai ) p(b j ) log2 1 0
这表明从b1分别得到了a2、a3、a4各1bit的 信息量。也可以理解为消息b1使a2、a3、 a4的不确定度各减少了 bit。 1
I (ai ; b j ) log p(ai ) log p(ai b j ) I (ai ) I (ai b j ) (2.1.8)
两个不确定度之差，是不确定度被消 除的部分，代表已经确定的东西。 实际是从b j 得到的关于ai的信息量。
(i 1,2,, n; j 1,2,, m)
例[2.1.2]
继续讨论第一节的例题，即
某地二月份天气构成的信源为
a1 (晴), a2 (阴), a3 (雨), a4 (雪) X 1 1 1 P( X ) 1 , , , 2 4 8 8
3 条件自信息量 条件概率对数的负值
I (ai b j ) log p(ai b j ) I (b j ai ) log p(b j ai )
（2.1.6a） (2.1.6b)
不确定度表示含有多少信息，信 息量表示随机事件发生后可以得到多 少信息。
联合自信息量和条件自信息也满 足非负和单调递减性 ，同时，它们也 都是随机变量，其值随着变量 xi、y j 的变化而变化。 自信息量、条件自信息量和联合 自信息量之间有如下关系式：
X a1 , a2 , , ai , , an P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
0 p( xi ) 1,
p( x ) 1
i 1 i
n
信宿Y的数学模型为
Y b1 , b 2 , , b j , , b m P(Y ) p(b ), p(b ), , p(b ), , p(b ) 2 j m 1
无条件概率、条件概率、联合概 率满足下面一些性质和关系： 1 0 p(ai )、p(b j )、p(b j ai )、p(ai b j )、p(aib j ) 1 2
n m m
p(a ) 1， p(b ) 1, p(b
i 1 n i j 1 j j 1
j
ai ) 1,
5
当X与Y相互独立时
p(ai b j ) p(ai ) p(b j ) p(b j ai )＝p(b j )，p(ai b j )＝p(ai )
6
p(ai b j )＝
p(aib j )
p(a b )
i 1 i j
n
，p(b j ai )
p(aib j )
p(a b )
j 1 i j
3 互信息量可为正值或负值
当互信息量为负时，说明信宿收到 b j 后 不仅没有使 a i 的不确定度减小，反而增大。 这是通信受到干扰或发生错误所造成的。
I (a3 ) 3bit， (a4 ) 3bit。 I
自信息量具有下列性质:
1 I ( ai )是非负值。
图2.1.1
对数曲线
2 当p(ai ) 1时，I (ai ) 0
3 当p(ai ) 0时，I (ai )
4
I (ai )是p(ai )的单调递减函数。
值得注意的是：ai是一个随机量，
而I (ai )是ai的函数，所以自信息量也 是一个随机变量，它没有确定的值。
2 联合自信息量
XY P( XY )
a1b1 , , a1bm , , anb1 , , anbm p(a1b1 ), , p(a1bm ), , p(anb1 ), , p(anbm ) 其中 0 p(ai b j ) 1(i 1,2,, n; j 1,2,, m)，
p(a ) 1
i 1 i
n
(2.1.2)
需要注意 的是：大写字母X、
Y、Z 代表随机变量，指的是信源整
体。带下标的小写字母: ai、bk、cl ,
代表随机事件的某一结果或信源的某
个元素。两者不可混淆。
§2.1.1 单符号离散信源的数学模型
§2.1.2 自信息和信源熵
§2.1.3 信源熵的基本性质和定理 §2.1.4 加权熵的概念和基本性质
同样的道理，可定义ai 对b j的互信息量为
I (b j ; ai ) log
p(b j ai ) p(b j )
I (b j ) I (b j ai ) (2.1.9)
(i 1,2,, n; j 1,2,, m)
物理解释：
通信前
发送
接收
“输入端出现ai 和输出端出现b j ”的概率 p(ai b j ) p(ai ) p(b j )
§2.1.5 平均互信息
§2.1.6 各种熵之间的关系
随机变量X、Y分别取值于集合
{a1 , a2 ,, ai ,, an }、 1 , b2 ,, b j ,, bm }。 {b
联合随机变量 XY 取值于集合
{ai b j | i 1,2,, n, j 1,2,, m}，
记 p(ai b j ) P( X ai , Y b j )
第1章：概述
第2章：信源熵
第3章：信道容量 第4章：信息率失真函数
第5章：信源编码
第6章：信道编码 第7章：密码体制的安全性测度
§2.1 单符号离散信源
§2.2 多符号离散信源 §2.3 连续信源 §2.4 离散信源无失真编码定理
信息论是在信息可以度量的前提下，研究 有效地、可靠地、安全地传输信息的科学。 信息度量的方法有：结构度量、统计度 量、语义度量、语用度量、模糊度量等等。 最常用的方法是统计度量。它用事件统计发 生概率的对数描述事物的不确定性，得到消 息的信息量，建立熵的概念。熵概念是香农 信息论最基本最重要的概念。
0 p(b j ) 1,
信源X
p(b ) 1
j 1 j
m
有扰信道C
信宿Y
干扰源N
图2.1.3
简单通信系统模型
后验概率 p(ai / bj ) 先验概率 p(ai )
定义b j 对ai的互信息量为 I (ai ; b j ) log p(ai b j )
p(ai )
（2.1.7）
m
一、信息量
信息量
自信息量
联合 自信息量
条件 自信息量
1 自信息量：一个随机事件发生后所 带来的信息量
I (ai ) log p(ai )
（ 2.1.3）
单位：比特(2为底)、奈特、笛特（哈特） 三个信息单位之间的转换关系如下：
1Hart log 2 10 3.322bit
1nat log 2 e 1.433bit
§2.1.1 单符号离散信源的数学模型
§2.1.2 自信息和信源熵
§2.1.3 信源熵的基本性质和定理
§2.1.4 加权熵的概念和基本性质 §2.1.5 平均互信息
§2.1.6 各种熵之间的关系
离散信源
信源输出的是一个个符号，这
些符号的取值是有限的或可数的。 单符号离散信源 只涉及一个随机事件的
p(a
i 1
i
b j ) 1, p(ai b j ) 1
j 1 i 1
m
n
3
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
4
p(aib j ) p(b j ) p(ai b j ) p(ai ) p(b j ai )
某地二月份天气的概率分
布统计如下：
a1 (晴), a2 (阴), a3 (雨), a4 (雪) X 1 1 1 P( X ) 1 , , , 2 4 8 8
这四种气候的自信息量分别为 : I (a1 ) 1 bit，I (a2 ) 2bit，
一天有人告诉你：今天不是晴天。 把这句话作为收到的消息 y1
当收到y1后，各种天气发生的概
率变成后验概率了。其中
p(a1 b1 ) 0,
1 p(a3 b1 ) , 4
1 p(a2 b1 ) , 2 1 p(a4 b1 ) 。 4
依据式(2.1.7)，可以计算出b1与各 种天气之间的互信息量。
先验不定度（联合自信息量）
1 I (ai b j ) log p(ai ) p(b j )
通信后
发送
接收
输入输出端的联合概率
p(ai b j ) p(ai ) p(b j ai ) p(b j ) p(ai b j )
后验不定度
1 I (ai b j ) log p(ai b j )
2 互信息的性质 1
对称性
I (ai ; b j ) I (b j ; ai )
I (ai ; b j ) log2 log2 log2 p(ai / b j ) p(ai ) p(b j ) p(b j / ai ) p(b j ) I (b j ; ai ) log2