Chp02知识点： 自信息量：
1）
)(log )(i i x p x I -=
2）对数采用的底不同，自信息量的单位不同。
2----比特（bit ）、e----奈特（nat ）、10----哈特（Hart ） 3）物理意义：事件i x 发生以前，表示事件i x 发生的不确定性的大小；事件i x 发生以后，表示事件i x 所含有或所能提供的信息量。
平均自信息量（信息熵）：
1）)(log )()]([)(1i q
i i i x p x p x I E x H ∑=-==
2）对数采用的底不同，平均自信息量的单位不同。 2----比特/符号、e----奈特/符号、10----哈特/符号。 3）物理意义：对信源的整体的不确定性的统计描述。 表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。
4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。 互信息：
1）)
()|(log
)|()();(i j i j i i j i x p y x p y x I x I y x I =-=
2）含义：已知事件j y 后所消除的关于事件i x 的不确定性，对
信息的传递起到了定量表示。
平均互信息：1）定义：
2）性质：
联合熵和条件熵：
各类熵之间的关系：
数据处理定理：
Chp03知识点：
依据不同标准信源的分类： 离散单符号信源：
1）概率空间表示：
2）信息熵：)(log )()]([)(1
i q
i i i x p x p x I E x H ∑=-==，表示离散单符号信
源的平均不确定性。
离散多符号信源：用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。
平均符号熵：)...(1
)(21N N X X X H N
X H =
极限熵（熵率）：)(lim )(X H X H N N ∞
>-∞= （1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。）
（2）离散无记忆信源：信源各消息符号彼此互不相关。
①最简单的二进制信源：01()X p x p q ⎡⎤⎡⎤
=⎢⎥⎢⎥
⎣
⎦⎣⎦，信源输出符号只有两个：“0”和“1”。
②离散无记忆信源的N 次扩展：若信源符号有q 个，其N 次扩展后的信源符号共有q N 个。
离散无记忆信源X 的N 次扩展信源X N
的熵：
()
()()()()12121
01,(1,2,,);1
r r r
i i i a a a X p a p a p a P p a i r p a =⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣
⎦
≤≤==∑L
L
L
等于信源X 的熵的N 倍，表明离散无记忆信源X 的N 次扩展信源每输出1个消息符号（即符号序列）所提供的信息熵是信源X 每输出1个消息符号所提供信息熵的N 倍。
离散无记忆信源X 的N 次扩展信源X N
极限熵（熵率）
为：)()(1
lim )(lim )(X H X NH N
X H X H N N N =⨯==∞
>-∞>-∞ （3）离散有记忆信源—》马尔可夫信源—》时间和状态都是离散的马尔可夫过程称为马尔可夫链
1）用分布律描述： 2）转移概率：即条件概率。
3）转移概率矩阵：用
)(n p ij 表示
n 步转移概率矩阵。且
n ij ij p n p ))1(()(=，
，会写出马氏链的一步转移概率矩阵，会画状态转移图，能够求出n 步转移概率矩阵。
4）遍历性的概念：
求解马氏信源的遍历性，即找一正整数m ，使m 步转移概率矩阵)(m p ij 中无零元。
求解马氏遍历信源的信息熵步骤：
（1） 根据题意画出状态转移图，判断出是平稳遍历的马尔可夫信源；
（2） 根据状态转移图写出一步转移概率矩阵，计算信源的
极限分布{}q W W W W ,......,,21=即是求解方程组：⎪⎩⎪⎨⎧==∑=q
i i W WP
W 1
1
（3） 根据一步转移概率矩阵和极限概率W 计算信源的信息熵：极限熵H ∞ 等于条件熵H m+1。（m 阶马尔可夫信源的熵率）
信源的相关性和剩余度：，
用来衡量信源输出的符号序列中各符号之间的依赖程度。 当剩余度＝0时，信源的熵＝极大熵H 0，表明信源符号之间： (1)统计独立无记忆;(2)各符号等概分布。
连续信源： （1） 微分熵：
i. 定义： ii.
物理意义：
（2） 连续信源的联合熵和条件熵 （3） 几种特殊连续信源的熵：
a) 均匀分布的连续信源的熵：)(log )(2a b X H c -=
b) 高斯分布的连续信源的熵：222log 2
1)(σπe X H c =【概率密度函数：
2
22)(2
21)(σπσ
m x e
x p --
=
】
c) 指数分布的连续信源的熵：me X H c 2log )(= 【概率密度函数：
m x
e m
x p -
=1)(】
（4） 最大连续熵定理：
11H H γη∞
=-=-
