第二章 信息论基础

H(x)=-log2(1/M)=log2M=log22N=N
RbM NRB 数字通信原理
2021年4月11日星期日
xn
p(xn)
其中
p(xi ) 1
i 1
数字通信原理
2021年4月11日星期日
离散信源的平均信息量
则x1、x2、…、xn所包含的信息量分别为 -log2P(x1) - log2P(x2) … -log2P(xn)。
数字通信原理
2021年4月11日星期日
离散信源的平均信息量
于是，每个符号所含信息量的统计平均 值，即平均信息量为
H(x)=0.25*log24+ 0.75*log2(4/3)=0.81
数字通信原理
2021年4月11日星期日
二元信号与其概率分布的关系
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
§3 连续消息的信息量的度量
Ixloagp(1x)loagp(x)
n个码元的总信息量 I ＝ n I x
数字通信原理
2021年4月11日星期日
离散信源的平均信息量
2、非等概离散消息的度量
❖符号集：
组成离散信息源的n个符号xi组成的集合 每个符号xi在消息中是按一定概率P(xi)独立出
现的，设符号集中各符号出现的概率：
x1 x2 p(x1) p(x2)
数字通信原理
2021年4月11日星期日
信息量和概率
❖由概率论可知，事件的不确定性可以用其出 现的概率来描述。
❖因此消息中所含的信息量I与消息出现的概率 P(x)间的关系式应反映如下规律：

相应的相关函数与功率谱分布如下：
R ( )
场间 行间
行内
G(f)
行内 行间 场间
G(f) F .T R()
f
P.21
1）图像信源 （续）
对于数字型图像信号，可以采用马氏链模型
1 2
1
X
x
2
2
1
N 1
N 1
1
而 为相邻像素之间的相关系数。
2）语音信源
可以近似用一个一维随机过程U(ω, t)表示。严格的讲，它是一个 非平稳过程，但是对于短时段(5-50ms)可认为是平稳的，且某些是 随机噪声（清辅音）而某些时段则呈现周期性特征（浊音），还 有一些短时段是二者的混合。
Eaiaj
i
i2,
0,
当ij 当ij
R (t1t2) i i(t1)i(t2)
i
P.15
常用的展开式 (续）：
两边同乘 j (t2 )并在[a,b]内对t2积分，由归一性可得：
abR(t1t2)j(t2)d2tab ii(t1)i(t2)j(t2)d2t i
当 ijjj jj((tt11 ))aba bj(jt(1t)2 )j(jt(2t)2 d)d 2tt2 jjj(jt(1t)1)
对消息序列信源有：
pUuLUp (uu11) U p(unuL)nL
P.5
2）实际信源 （续） 例：最简单L=3的三位PCM信源：这时L=3, n=2, 即i={0,1}，则有：
p U ( u 3 ) U p 0 0 3, ,U 0 p 0 2 0 0 p 1 , 0 ,,U p 1 1 3 1 当 1 p 0 p 1 1 1 2 时 0 8 1,,0 8 1 0 ,,0 8 1 0 0 , , 1 ,1 ,1 8 10 1

事件Y=y和Z=z联合提供的有关事件X=x 的信息量
事件联合互信息的链式法则
I ( x; y, z ) I ( x; y ) I ( x; z | y ) I ( y ; x ) I ( z ; x | y ) I ( y , z; x )
事件Y=y和Z=z联合提供的有关事件X=x的信息量，等于 Y=y提供的有关事件X=x的信息量再加上事件Y=y已知的 条件下事件Z=z所提供的有关X=x的新信息量。

I ( X xk ) I ( xk ) log a q( xk )
公理化的定义
当对数的底a取为2时，自信息的单位为比特（bit）； 当对数底取为e时，单位称为奈特（nat）。
事件自信息的本质
事件发生后对外界（观察者）所提供的信 息量，也是观察者所获得的信息量 事件发生前外界（观察者）为确证该事件 的发生所需要的信息量，也是外界为确证 该事件所需要付出的代价 事件的自信息并不表示事件的不确定性， 事件本身没有不确定性可言，它要么是观 察的假设和前提，要么是观察的结果
变量的平均自信息——熵
我们更关心变量在其取值集合总体上平均 每次观测所能获得的信息量
H ( X ) E[ I ( X )]
q( x ) log a q( x )
xX
x
q( x ) I ( x ) X
熵的本质（I）
H(p) 1
x2 x1 X ~ p 1 p
(1 )

x
f ( x ) 0, if f ( x )在x x * 处取极小值 x x x*
凹函数（上凸函数, Concave Function）
f ( x)
f (1 ) f ( ) (1 ) f ( ), [0,1] f (1 )

事件xk∈X与事件yj∈Y的互信息量定义为
I(xk;yj)loga
P(XP(Xxk|Yxk)yj)loga
P(Yyj |Xxk) P(Yyj)
logaP P((X (X,Yx)k)P((xYk,yyj)j))logaqkrkw j j
2019/6/6
10
非平均互信息量直观认识
考虑）此时补充定义qkloga(1/qk)=0。这个定义是合理的，因 为
lim
q0
qloga
1 q
0
2019/6/6
33
平均自信息量——熵
例2.2.1 离散型随机变量X有两个事件x1和x2， P(X=x1)=p，P(X=x2)=1-p。
则X的平均自信息量（熵）为 H(X)=ploga(1/p)+(1-p)loga(1/(1-p)) 。
I( xi ; xi )=[收到xi前，收信者对信源发xi 的不确定性] = I( xi )
2019/6/6
17
2019/6/6
18
2019/6/6
19
2019/6/6
20
条件的非平均自信息量
定义2.1.4(条件的非平均自信息量) 给定一个二维离散型随机 变下量事件{(Xx,k的Y)条, (x件k, 自yj)信, rk息j, k量=1定~义K;为j=1~J}。在事件yj发生的条件 I(xk|yj)=loga(1/P(X=xk|Y=yj))=loga(wj/rkj)。
7
直观认识
从上述两个系统可以看出，在一个系统 中我们所关心的输入是哪个消息的问题， 只与事件出现的先验概率和经过观察后 事件出现的后验概率有关。
信息应当是先验概率和后验概率的函数， 即
I(xk;yj)=f [Q(x),P(xk|yj)]