当前位置：文档之家 › 第二章信息论基本概念总结

第二章信息论基本概念总结

  • 格式：ppt
  • 大小：638.50 KB
  • 文档页数：68

下载文档原格式

  / 68

合集下载

信息论名词解释

信息论名词解释

信息论部分基本概念和名词术语消息(或称为符号) ：信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：自信息量： 一个随机事件发生某一结果后所带来的信息量成为自信息量，定义为其发生概率对数的负值。

平均互信息：)()|(log),();(),();(i j i j i j i j i j i j i x p y x p y x p y x I y x p Y X I ∑∑∑∑==表达平均互信息量的熵I(X;Y), 是确定通过信道的信息量的多少，因此称它为信道传输率或传信率。

I(X;Y)就是接收到符号Y 后平均每个符号获得的关于后平均每个符号获得的关于X 的信息量——平均意义上每传送一个符号流经信道的平均信息量。

离散平稳无记忆信源：假定随机变量欲裂的长度是有限的，如果信源输出地信息序列中，符号之间的无相互依赖关系，则称这类信源为离散平稳无记忆信源。

信源冗余度：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值：η=H 无穷/H0，定义信源的冗余度为1减去信源熵的相对率η，即ξ=1-η。

信道容量：信道在单位时间上能够传输的最大信息量。

平稳信源：概率分布函数与时间起点无关，平稳信源是有记忆的，记忆的长度有限。

香农信息：信息是事物运动状态或存在方式的不确定性的描述。

无记忆信道：在某一时刻信道的输出消息仅与当时的信道输入消息有关，而与 前面时刻的信道输入或输出消息无关。

有记忆信道：在任意时刻信道的输出消息不仅与当时信道的输入消息有关，而且还与以前时刻的信道输入消息和（或）输出消息有关。

信道疑义度(含糊度) H(X|Y)：表示在输出端接收到Y 后，发送端X 尚存的平均不确定性。

这个对X 尚存的不确定性是由于干扰引起的。

信道散布度H(Y|X)：表示在已知X 后，对于输出Y 尚存的平均不确定性；平均失真度：定义平均失真度为失真函数的数学期望，及d（xi,yi）在X和Y 得联合概率空间P(XY)中的统计平均值：D=E[D（xi,yi）] ，起是在平均的意义上，从总体上对整个系统失真情况的描述。

信息论总结

信息论总结

D
香农编码：
二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki <1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率，
⑷将Pi用二进制表示,并取小数点后Ki位作为符 号ai的编码。
m元霍夫曼编码的编码方式类同于二元霍夫曼编码， 不同的是每次把m个符号合并成一个新的信源符号， 并分别用0,1，……，m-1等码元表示。 为了使短码得到充分利用，使平均码长为最短，必 须使最后一步缩减信源有m个信源符号。因此对于m 元编码，信源s的符号个数必须满足q=(m-1) θ+m, θ是 缩减的次数.
L →∞
5 马尔可夫信源的极限熵：
H ∞ = H m +1 = ∑ p ( si ) H ( X | si ) p( si ) = Wi
i
H ( X | si ) = −∑ p ( x j | si ) log p ( x j | si )
j
6
H∞ (X ) η 冗余度： = H ( X ) ０ ≤ η ≤１ m
游程编码：
若规定二元序列总是从“0”开始,第一个游程是“0”游 程,则第二个游程必为“1”游程,第三个又是“0”游程……。 对于随机序列,游程长度是随机的其取值可为1,2,3,…， 直至无穷。 游程长度序列/游程序列：用交替出现的“0”游程和“1” 游程长度表示任意二元序列。 游程变换： 是一种一一对应的变换,也是可逆变换。 例如：二元序列000101110010001… 可变换成如下游程序列 31132131
i i i =1 i =1 L L
Ｌ

第二章-信息论基本概念（3）

第二章-信息论基本概念（3）

H ( X m1 / X1 X 2 X m )
这表明：m阶马尔可夫信源的极限熵H 就等于m阶条件熵，记为H m 1
akm )
设状态 Ei (ak1 ak2 akm ),信源处于状态Ei时，再发出下一个符号akm1
此时，符号序列 (ak2 ak3 a ) km1 就组成了新的信源状态
Ej (ak2 ak3 a ) km1 ，这时信源所处的状态由 Ei 转移到 Ej
状态转移图(香农线图)
0:0.5 E1
1:0.5 E3
1
0:0.6
E2
1:0.4
【注】E1、E2、E3是三种状态，箭头是指从一个状态转移到另
一个状态，旁边的数字代表发出的某符号和条件概率p(ak/Ei) 。 这就是香农提出的马尔可夫状态转移图，也叫香农线图。
二、马尔可夫信源
若信源输出的符号和信源所处的状态满足以下两个条 件，则称为马尔可夫信源：
a1 a2
p(sl
E2
/ xl
a3
sl1 E1 ) 0 sl1 E1 ) 1 sl1 E1 ) 1 sl1 E1 ) 0
可求得状态的一步转移概率：
1
2
1 4
0
1 4
0
0
1 2
1 2
0
0
p(E j
/
Ei
)
0
3
1
0
0
44
0
0
0
0
1
0
0
0
3 4
1 4
此信源满足马尔可夫的 两个条件，所以是马尔可夫 信源，并且是齐次马尔可夫 信源。
对于这个随机序列，若有：
p(xn Sin | xn1 Sin1 ,..., x1 Si1 ) p(xn Sin | xn1 S ) in1

信息论第2章(2010)

信息论第2章(2010)

ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？

第二章 信息论基本概念

第二章 信息论基本概念
i 1
一个信源总是包含着多个符号消息，各个符号消息又按概率 空间的先验概率分布，它的不确定度是各个符号的不确定度的数 学期望（即概率加权的统计平均值） 它的熵（平均不确定度）H（X）定义为： H（X）＝ E[I(x)]＝ P(X)I(X) ＝－ P(X)log2P(X) X
X
若信源X中的符号的概率空间简化表示为： X1，X2， „，XN X，PX＝ P1， P2，„， PN 则熵（平均不确定度）H（X）可写成： N H（X）＝－ PilogPi 注意：∵ I(X)为非负， P(X)为非负，且0≤P(X)≤1 ∴ H（X）也为非负
0.8 0.2
其中X1表示摸出的球为红球事件,X2表示摸出的球为白球事件
若告知摸出的是红球，则事件的自信息量为 I(X1)＝－logP(X1)＝－log20.8 bit 若告知摸出的是白球，则事件的自信息量为 I(X2)＝－logP(X2)＝－log20.2 bit 若取回后又放回摸取，如此摸取n此，红球出现的次数nP(X1)， 白球出现的次数为nP(X2)，则总信息量为 I＝nP(X1)I(X1)＋nP(X2)I(X2) 而平均随机摸取一次所获得的信息量为 H（X）＝ 1/n [nP(X1)I(X1)＋nP(X2)I(X2)] ＝－[P(X1)logP(X1)＋P(X2)logP(X2)] 2 ＝－ P(Xi)logP(Xi)
符号xi对联合事件符号yj zk之间的互信息量定义为： I(xi ; yj zk)＝ logP(xi|yj zk)/ P(xi) „„„„*
三. 条件互信息量 含义：在给定zk条件下，xi与yj之间的互信息量
条件互信息量I(xi ; yj|zk)定义为： I(xi ; yj|zk)＝ logP(xi|yj zk)/ P(xi|zk) 从上式，可使*式写成： I(xi ; yj zk)＝ I(xi ; zk) ＋ I(xi ; yj|zk) 推导如下: I(xi ; yj zk)＝ log P(xi|yj zk)/ P(xi)

信息论编码 第二章信息度量1

信息论编码 第二章信息度量1

50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了

第二章-信息论基本概念(1)

第二章信息论的基本概念第一节信源的描述和分类第二节离散信源的信息论概念第三节离散信源的熵第一节信源的描述和分类一、香农信息论的基本出发点用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。

二、信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类{信源离散信源连续信源1.连续信源连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。

2.离散信源离散信源是指发出在时间上是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。

离散信源{离散无记忆信源离散有记忆信源：{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源特例：马尔可夫信源•离散无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。

•离散有记忆信源离散有记忆信源所发出的各个符号的概率是有关联的。

•发出单个符号的信源发出单个符号的信源是指信源每次只发出一个符号代表一个消息；•发出符号序列的信源发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。

•发出符号序列的有记忆信源发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。

•发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。

三、先验概率及概率空间的形式一个离散信源发出的各个符号消息的集合为：},,,{21n x x x X =它们的概率分别为：)}(,),(),({21n x p x p x p P =)(i x p 为符号i x 的先验概率。

1)(,0)(1=≥∑=n i i i x p x p 先验概率一般信源可用一个概率空间来描述，信源的不确定程度可用该概率空间的可能状态数目及其概率来描述。

信息论基础第2章离散信源及其信息度量

《信息论基础》
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个

第二章-信息论基本概念(2)(1)

(四） 平均互信息（平均交互信息熵/交互熵） 四 平均互信息（平均交互信息熵 交互熵） 交互熵
前面所述熵为单符号信源情况， 前面所述熵为单符号信源情况，是最简单的离散 信源。事务是普遍联系的，两个随机变量 ， 之间 信源。事务是普遍联系的，两个随机变量X，Y之间 也是相互联系的，比如： 在某种程度上 也是相互联系的，比如：
1、 离散无记忆信源 扩展信源 、 离散无记忆信源(扩展信源 扩展信源) 概率空间： （1）定义：若单符号离散信源 概率空间： ）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道 例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义 信息不增原理 意义] 信息不增原理 原理—— 意义 处理， 每经一次 处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －

信息论理论基础(第二章)

第二章：基本信息论
§2.1 信息度量 §2.2 离散信源的熵 §2.3 二元联合信源的共熵与条件熵 §2.4 信源冗余度 §2.5 连续信源的熵 §2.6 熵速率和信道容量 §2.7 离散有噪信道的熵速率和信道容量 §2.8 连续有噪信道的熵速率和信道容量 §2.9 使信源与信道匹配的编码
2013-8-2 1
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi | y j ) p( xi )
（2-5）
互信息量 I ( xi ; y j ) 实际上就是已知事件 y j 后，所消除的关于事件 x i 的不肯定性，它等于事件 x i 本身的不肯定性 I ( xi ) 减去已知事件 y j 后对 x i 仍然存在的不肯定性 I ( xi | y j ) 。 互信息量的引出使信息的传递得到了定量的表示，是信息论发展的一个重要的里程碑。这里还 应指出，互信息量的单位的取法与自信息量的相同，不再详述。
I ( xi | y j ) log p( xi | y j )
2013-8-2
（2-4）
9
自信息量的单位与所用对数的底有关，如下： ⑴ 通常取对数的底为 2，信息量的单位为比特(bit,binary unit)。比特是信息论中最常 用的信息量的单位，当取对数的底为 2 时，2 常省略。 注意：计算机术语中 bit 是位的单位(bit,binary digit)，与信息量的单位不同。 ⑵ 若取自然对数（以 e 为底） ，自信息量的单位为奈特(nat,natural unit)。理论推导或 用于连续信源时用以 e 为底的对数比较方便。 1 nat= log2 e bit=1.443bit ⑶ 工程上用以 10 为底较方便。若以 10 为对数底，则信息量的单位为哈特莱(Hartley)。 这是用来纪念哈特莱首先提出用对数来度量信息的。 1 Hartley= log2 e bit=3.322bit
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

是随机出
i

现的，它是X的一个样值，所以是一个随机量。
而 I(xi ) 是 xi 的函数，它必须也是一个随机量。
d. 自信息量单位的确定
• 在信息论中常用的对数底是2，信息量的单位为比特 （bit），用log2或lb表示；（ bit /符号）
• 若取自然对数，则信息量的单位为奈特（nat），用loge 或ln表示；（nat/符号）
（4）英文字母中“e” 出现的概率为0.105，“c”出现的概 率为0.023，“o”出现的概率为0.001。分别计算它们的 自信息量。
解：“e”的自信息量 I（e）= - lb0.105=3.25 （bit/符号） “c”的自信息量 I（c）= -lb0.023=5.44 （bit/符号） “o”的自信息量 I（o）= -lb 0.001＝9.97 （bit/符号）
4. 联合自信息量
随机变量Z是两个随机变量X、Y的联合，即Z=XY，其概率空间：
[ XY , PXY ] [(xi , y j ), p(xi , y j ) | i 1, 2,..., N; j 1, 2,..., M ]
NM
( p(xi , y j ) 1, 概率空间完备） i1 j1
第二节 离散信源的信息论概念
问题： 什么叫自信息量？ 什么叫不确定度？ 什么叫互信息量？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 熵的性质有哪些？ 什么叫平均互信息量？ 什么叫信源熵？如何计算离散信源熵？
（一） 自信息量
I
( x1 )

I (x2 )

I
( x3 )

I
(x4 )

lb
1 4

2(bit
/
符号)
注：
bit的含义是二进制数字（0、1），自信息量为2（bit/ 符号），意味着其不确定性可用2位二进制数字来度 量（00、01、10、11）。
若取4为对数底，自信息量为1（四进制单位/符号）， 意味着其不确定性可用1位四进制数字来度量（0、1、 2、3）。
I 14I (x1) 13I (x2 ) 12I (x3) 6I (x4 ) 87.81(bit / 符号)
平均一个符号的自信息量：
I / 45 87.81/ 45 1.95(bit / 符号)
（6）同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概 率均为1/6，试求： (a). 事件“3和5同时发生”的自信息量？ (b). 事件“两个1同时发生”的自信息量？ (c). 事件“两个点数中至少有一个是1”的自信息量？
I (xi ) log p(xi )
说明：
a. 自信息量 I (xi )是非负的。
b. 对于离散无记忆信源，符号串中各符号统计独 立，符号串自信息量具有可加性：
I logp(xi )
i
c. 因为概率 p(xi ) 越小，xi的出现就越稀罕，一旦出
现，所获得的信息量也就较大。由于
x
棋子落入的方格位置可以用取值于序号集合的随机变量Z来描述
Z {zl | l 1, 2,L ,64}
（1）由于棋子落入任一方格都是等可能的，则
p(zl
)

1 64
l 1, 2,L ,64
棋子落入某方格的不确定性就是自信息量
1 I (zl ) l b p(zl ) l b 64 6
第二章 信息论的基本概念
第一节 信源的描述和分类 第二节 离散信源的信息论概念 第三节 离散信源的熵
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
• 若以10为对数底，则信息量的单位为哈脱莱(Hartley)， 用log10或lg表示；（hartley/符号）
• 若对数底为r，则信息量的单位为r进制用单位/符号。
这三个信息量单位之间的转换关系如下：
1 nat＝log2e l.433 bit，
l Hartley ＝log210 3.322 bit
解: (a) 存在两种情况：甲3乙5，甲5乙3。
P(A)=1/36×2=1/18，I(A)=-lbP(A)=4.17（bit）。
(b) 存在一种情况：甲1乙1。
P(B)=1/36，I(B)=-lbP(B)=5.17（bit）。 (c) P(C)=1－5/6×5/6=11/36，I(C)=-lbP(C)=1.17（bit）。
求该消息的自信息量以及消息中平均每符号的自信息量？
解：信源符号的自信息量：
1 I (x1) log2 3/8 1.415
1 I (x2) I (x3) log2 1/ 4 2
1
I
(x4
)

log 1/
8

3
单位都是 bit/符号
信源无记忆，发出的符号串中各符号统计独立，由自信 息量的可加性，符号串自信息量等于各符号自信息量之和：
（7）在布袋中放入81枚硬币，它们的外形完全相同。已知有一 枚硬币与其它80枚硬币重量不同，但不知这个硬币比其它硬 币的重量是重还是轻。问确定随意取出的一枚硬币恰好是重 量不同硬币的所需要的信息量是多少？并进一不确定它比其 它硬币是重还是轻所需要的信息量是多少？
解: (a) P(A)=1/81，I(A)=-lbP(A)=6.34（bit）。 (b) P(B)=1/2，P＝P(A)×P(B)＝1/162; I=-lbP=7.34（bit）。
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的，发出 的符号序列中的各个符号之间没有统计关联性，各个符 号的出现概率是它自身的先验概率。
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联的。
先验概率
一个离散信源发出的各个符号消息的集合为：
X {x1, x2, , xn} ——状态空间
它们的概率分别为：
P {p(x1), p(x2 ), , p(xn )}
n
p(xi ) 0, p(xi ) 1 p(xi )为符号 xi的先验概率。
i 1
概率空间

• 发出符号序列的马尔可夫信源 发出符号序列的马尔可夫信源是指某一个符号出 现的概率只与前面一个或有限个符号有关，而不 依赖更前面的那些符号，这样的信源可以用信源 发出符号序列内各个符号之间的条件概率来反映 记忆特征。
三、先验概率及概率空间的形式
一般信源可用一个概率空间来描述，信源的不确 定程度可用该概率空间的可能状态数目及其概率 来描述。
{ 离散信源
信源 连续信源
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
离散消息的信源，如文字、数字、数据等符号都是
离散消息。 离散无记忆信源
{ 离散信源
{ { 离散有记忆信源
在观察到符号yj的条件下xi还剩下的不确定性
I (xi | y j ) lbp(xi | y j )
bit/符号
p( y j | xi ) 转移概率
代表输入xi且观察到yj时干扰引入的不确定性
I ( y j | xi ) lbp( y j | xi )
bit/符号
几个关于条件自信息量的例子：
反之，一个出现概率很小的随机事件，很难猜测 在某个时刻它能否发生，所以它包含的不确定度 就很大；
若是确定性事件，出现概率为1，则它包含的不确 定度为0。
几个关于自信息量的例子： （1） 一个以等概率出现的二进制码元（0，1）所包含
的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit/符号
X P



x1 p( x1 )
x2 p(x2 )
xn p(xn )
状态空间X中各状态 xi相互独立。
举例（二进制信源）：

X P


1 0.5
0 0.5
信息论所关心的就是这种随机变量的不确定性，驱使我们 对随机变量进行观察和测量，从中获取信息。
• 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号代 表一个消息；
• 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个以 上符号的符号序列代表一个消息。
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
bit/符号
（2）棋盘方格可分为8行×8列，已知行号 xi (i 1, 2,L ,8)
后，棋子落入某方格的不确定性就是条件自信息量 I (zl | xi )
它与条件概率 p(zl | xi ) 有关，由于
I ( y j | xi ) lbp( y j | xi ) bit/符号
注意: 在给定yj条件下，随机事件xi所包含的不确定度在数值上
与条件自信息量相同，但两者含义不同。
条件自信息量物理意义：
条件自信息量的物理意义，要根据具体情况来做出相应的解释
如果X是观察输入，Y是观察输出：
p(xi | y j ) 后验概率
1. 甲在一个8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落 入的位置是不确定的。试问： （1）在乙看来，棋子落入某方格的不确定性为多少？ （2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋 子落入某方格的不确定性为多少？