当前位置：文档之家 › 第2章 离散信源及其信息测度

第2章 离散信源及其信息测度

  • 格式：ppt
  • 大小：1.22 MB
  • 文档页数：87

下载文档原格式

  / 87

合集下载

第二章 离散信源及其信息测度讲解

第二章 离散信源及其信息测度讲解

空间称为信源空间。
6
单消息（符号）信源－－离散信源
特点：这些信源可能输出的消息数是有限的或可数的，
而且每次只输出其中一个消息。因此，可以用一维离散
型随机变量X来描述这个信源输出的消息。这个随机变 量X的样本空间就是符号集A；而X的概率分布就是各消 息出现的先验概率，信源的概率空间必定是一个完备集。
一般情况下，信源在不同时刻发出的符号之间是相互依赖 的。也就是信源输出的平稳随机序列X中，各随机变量Xi之 间是有依赖的。例如，在汉字组成的中文序列中，只有根 据中文的语法、习惯用语、修辞制约和表达实际意义的制 约所构成的中文序列才是有意义的中文句子或文章。所以， 在汉字序列中前后文字的出现是有依赖的，不能认为是彼 此不相关的。其他如英文，德文等自然语言都是如此。这 种信源称为有记忆信源。
X P(x)


a1, a2 ,aq

P(a1
),
P(a2
),
P(aq
)
重点掌握： 形式，每个 符号的含义
例：对于二进制数据/数字信源：U={0,1}，则
有
UP

u0
0, p0 ,
u1 p1

1
当p0

p1

1 2


0 ,1 1,1
• 离散信源的信息熵性质：
什么是信息熵； 九大性质
• 几种具体信源：
离散平稳信源 马尔可夫信源
3
信源特性与分类
信源的统计特性
• 1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、文字、 图像、数据…。在信息论中，信源是产生消息（符号）、消 息（符号）序列以及连续消息的来源，数学上，信源是产生

信息论 第2章 离散信源及其信息

信息论 第2章 离散信源及其信息

合肥学院胡学友
22
2.2.1 自信息
信源发出某一符号 xi (i = 1,2, L, n) 后，它提供多 少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量， 在数量上等于通信前后不确定性的消除(减少)的 量。
2011-7-22
合肥学院胡学友
23
具体地说，如信源发某一符号ai，由于信道中 噪声的随机干扰，收信者收到的一般是ai的某 种变型bi．收信者收到bi后，从bi中获取关于ai 的信息量,如果以I(ai；bi)表示， 则有I(ai；bi) ＝收到bi前，收信者对ai存在的不确定性(先验 不定度)—收到bi后，收信者对ai仍然存在的不 确定性(后验不定度) ＝收信者收到bi前、后，对ai存在的不确定性的 消除。 2011-7-22 24 合肥学院胡学友
6
a2 1 6
a3 1 6
a4 1 6
a5 1 6
a6 1 6
∑ p (a ) = 1
i =1 i
2011-7-22 合肥学院胡学友
完备集
4
X a1 p ( x) = p (a ) 1
q
a2 L aq p(a2 ) L p(aq )
离散情况
2011-7-22 合肥学院胡学友 10
• 若信源输出的N维随机矢量 ，每个 uu v X = ( X 1 , X 2 ,L , X N ) 随机变量 (i=1, 2, …, N) 都是取值为连续 Xi 的连续型随机变量，即每个随机变量的可 能取值是不可数的无限值。而且随机矢量 的各维概率密度函数都与时间起点无关， 也就是说，在任意两个不同时刻随机矢量 的各维概率密度函数都相同，这样的信源 称为连续平稳信源

信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习

信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习

第二章离散信源及其信息测度2．1．1 信源的分类信源是信息的来源，是产生消息或消息序列的源泉。

不同的信源输出的消息其随机性质不同。

根据消息所具有的随机性质的不同，对信源进行如下分类：按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为离散信源(数字信源)和波形信源(模拟信源)；按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和连续信源；按照信源输出消息所对应的随机序列的平稳性，信源可分为平稳信源和非平稳信源；按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，信源可分为无记忆信源和有记忆信源。

2．1．2 基本信源的数学模型根据信源输出消息所对应的不同的随机特性就有不同的信源数学模型。

而基本的信源数学模型有以下几种。

1．离散信源信源输出的是单个符号或代码的消息，信源符号集的取值是有限的，或可数的，可以用一维离散型随机变量来描述。

信源的数学模型就是离散型随机变量x的概率空间，表示为2．连续信源信源输出的是单个符号或代码的消息，但信源符号集的取值是连续的，可以用一维连续型随机变量来描述。

相应的信源的数学模型就是连续型随机变量的概率空间，表示为其中(a，b)是连续随机变量X的取值区间，R表示全实数集，而p(x)是连续随机变量X的概率密度函数。

2．1．3 离散信源的信息熵1．自信息自信息即为某事件a i发生所含有的信息量。

事件的自信息定义为式中P(a i)是事件a i发生的概率。

自信息的单位有几种：以2为底的对数时单位是比特(bit)；以e为底的自然对数时单位是奈特(nat)；以10为底的常用对数时单位是哈特(hart)。

2．信息熵离散随机变量X的信息熵就是其概率空间中每个事件所含有的自信息量的数学期望，即其单位是：以2为底的对数时是比特／符号(bit／symbol)；以e为底的对数时是奈特／符号(nat／symbol)；以10为底的对数时是哈特／符号(hart／symbol)。

信息论：第2章离散信源及其信息测度

信息论：第2章离散信源及其信息测度
4
Copyright ©赵越 ise_zhaoy1@
概率
概率是事件发生可能性的数量指标。 即在多次重复后，某结果出现的比率。 1、古典型概率
定义1 若试验结果一共有n个基本事件组成，且这些事 件的出现具有相同的可能性，且事件A由其中某m个基 本事件组成，则事件A的概率为
有利于A的基本事件数 m P(A) ＝ 试验的基本事件总数 n
联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率
条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率
15
Copyright ©赵越 ise_zhaoy1@
无条件概率、条件概率、联合概率满足下 面一些性质和关系：
信源分类有多种方法，根据信源输出的消息在时间和 取值上是离散或连续进行分类：
时间（空间) 取值 离散 离散 信源种类 离散信源 （数字信 源） 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
离散
连续
跳远比赛的结果、 连续随机变量序列 连续信号 语音信号抽样以 后 波形信源 （模拟信 源） 语音、音乐、热 噪声、图形、图 象 不常见 信源的分类
23
Copyright ©赵越 ise_zhaoy1@
例：掷一个六面均匀的骰子，每次出现朝上一面
的点数是随机的，以朝上一面的点数作为随机实 验的结果，并把实验结果看作一个信源的输出， 试建立数学模型。
24
Copyright ©赵越 ise_zhaoy1@
A：{1，2，3，4，5，6}——样本(状态)空间 离散随机变量X P：{p(X=1)=1/6，p(X=2)=1/6，…， p(X=6)= 1/6} 信源的数学模型：

信息论基础第2章离散信源及其信息度量[83页]

信息论基础第2章离散信源及其信息度量[83页]
④ 一般情况下，如果以 r 为底 r 1，则
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。

信息论与编码基础第2章离散信源及其信息测度

信息论与编码基础第2章离散信源及其信息测度

故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1

信息论基础第2章离散信源及其信息度量

《信息论基础》
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个

2离散信源及其信息测度

第2章 离散信源及其信息测度
2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源
离散信源的数学模型(1)
研究对象是： 例如，掷一个质地均匀的六面骰子，如把 信源各种可能 朝上一面的点数作为作为随机试验结果， 的输出以及输 把试验结果看作信源的输出，那么这个随 出各种消息的 机试验可视为一个信源。信源的输出X的 不确定性。不 状态空间及其概率空间P(X)集合分别为 X A : 2 3 4 5 6 1 研究信源的内 部结构，不研 P( X ) P : / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 究信源为什么 所以，这个单符号离散信源的数 产生和如何产 学模型可表示为： 生各种不同的、 X 1 2 3 4 5 6 可能的消息。
I (ai ) logb 1 P( ai )
定义 2.1
自信息量的定义：某离散消息 a i 所携带的自信息量
I (ai ) logb 1 P( ai )
b=2 b=e
单位为比特(bit) 单位为奈特(nat——nature unit)
b=10 单位为哈特莱(Hart——Hartley)
自信息（4）
例 2.1 从英文字母中任意选取一个字母所给出的信息给出的信息是多少呢？ 因为有 26 种可能情况，取任一字母的概率为 1/26，所以
I log 26 4.7(bit)
例 2.2 假设一条电线上串联了 8 个灯泡 x1 , x2 , x3, x4 , x5 , x6 , x7 , x8 ,这 8 个灯泡损坏的概率是 相同的，现假设有一个灯泡是坏的，现用万用表去检测，检测过程如下图所示

信息论 基础理论与应用第三版(傅祖芸)第2章 离散信源及其信息测度


2）离散无记忆平稳信源
离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变 量Xi (i＝1,2,…,N)之间统计独立。
性质：
独立－>P(X)= P(X1, X2, …,XN)= P1(X1) · P2(X2)· · · PN(XN) 平稳－>P1(Xi) = P2(Xi)=· · ·= PN(Xi) = P(Xi)
5）m阶马尔可夫信源（非平稳信源）
不同时刻发出的符号间的依赖关系
P(xi | xi2 xi1xi1 xi2 xim x1 ) P(xi | xi1xi2 xim ) (i 1,2, , N )
记忆信源的记忆长度为m+1时，称这种有记忆信源为m 阶马尔可夫信源。
若上述条件概率与时间起点 i 无关，信源输出的符号序 列可看成为时齐马尔可夫链，则此信源称为时齐马尔可 夫信源。
乙地天气预报的信源空间的信息熵为:
H (Y ) 7 log 7 1 log 1 log 1 7 log 7 0.544(bit / 符号)
8 88 8
88
讨论：甲地极端情况
X 晴 阴 大雨 小雨
极端情况1：晴天概率＝1
P(x)
1
0
0
0
H(X ) 1 log1 0 log 0 0 log 0 0 log 0
4）有记忆信源
信源在不同时刻发出的符号之间是相互依赖的，即信源输出 的随机序列X中，各随机变量Xi之间相互依赖。
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。

信息论PPT第二章

2011-11-12
7
2.1 信源的数学模型及分类
B. N次扩展信源的信源空间 次扩展信源的信源空间
因为信源XN 的每一个消息[Xi]，(i=1,2,…,N)均 因为信源 的每一个消息 ， 均 由信源X的符号集 的符号集A:{a1,a2,…aq}中的 个符号组成， 中的N个符号组成 由信源 的符号集 中的 个符号组成， 所 以 ， XN 的 某 一 个 具 体 符 号 α i 可 以 表 示 为 [αi]=(ai1,ai2,…aij…aiN) aij∈A:{a1,a2,…aq}，这个关系 ， 表明扩展信源的每个符号取值于同一个单符号信源 空间， 空间，A:{ a1,a2,…aq}。 。 因此扩展信源X 就有q 种不同的符号， 因此扩展信源 N就有 N 种不同的符号 ， 可以表 示为 [XN ]: {[α1],[α2],…[αi],…[αqN]}; (i=1,2, qN)
X1 1 2 ＝ P（x1） 1/4 1/4
H(x) － H(x1) = 1－－获得1bit信息量 X2 1 2 3 4 5 6 7 ＝ P（x2） 1/2 1/2 0 0 0 0 0 H(x1) － H(x2) =1 －－获得1bit信息量 X3 ＝ P（x3） 1 1 2 0 3 0 4 0 5 0 6 0 7 0
根据消息的不同的随机性质对信源进行分类： 根据消息的不同的随机性质对信源进行分类： 离散信源：信源输出的都是单个符号（ 离散信源：信源输出的都是单个符号（或代 的消息， 码）的消息，它们符号集的取值是有限的或 可数的。 可数的。可用一维离散型随机变量X来描述这 些信源的输出。这样的信源称为～。 些信源的输出。这样的信源称为～。
H(x2) = log2 = 1(bit/符号)
8 H(x3) 0 = log1 = 0(bit/符号)
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
I ( xi y j ) log2 log2
1 p ( xi ) p ( y j / xi ) 1 p ( y j ) p ( xi / y j )
第一节 信源的数学模型及分类
在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。
第一节 信源的数学的概率越小，我们猜测它有没有发生的困难程度就
越大，不确定性就越大。概率等于1的必然事件，就不存在 不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的 函数。
第二节 离散信源的信息熵
1、自信息 某事件发生所携带的信息量是和该事件出现的概率有 关，概率可以表征自信息量的大小
量单位； 计算机术语中“比特”是代表二元 数字； 这两种定义之间的关系是：每个二 元数字所能提供的最大平均信息量 为1比特。
第二节 离散信源的信息熵
例：设天气预报有两种消息，晴天和雨天，出现的概率 分别为1/4和3/4，我们分别用a1来表示晴天，以a2 来表 a2 示雨天，则我们的信源模型如下：
X a1, p( x) 1/ 4,
a2 3/ 4
I (a1 ) log 4 2 4 I ( a2 ) log 0.415 3
联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
a2 p2
... ...
aq pn

p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出的消 息，集合P中包含对应消息的概率密度，各个消 息的输出概率总和应该为1。 例：天气预报
第一节 信源的数学模型及分类
2、连续信源指发出在时间和幅度上都是连续分布的连 续消息（模拟消息）的信源。 数学模型如下：
其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为
I ( xi y j ) log 2
log2
1 p( xi )
1 p ( xi y j )
p( x y ) 1
i j i 1 j 1
n
m
当X和Y相互独立时，p(xiyj)=p(xi)p(yj)
f (P i) 0
（3）当 P(ai ) 0 时 f ( P i) （4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
第二节 离散信源的信息熵
根据上述条件可以从数学上证明这种函数形式是 对数函数，即： 1 I (ai ) log P(ai )
I (ai ) 有两个含义：
随机变量x描述 信源输出的消息 离散信源 连续信源
随机序列x描述 信源输出的消息
非平稳信源
平稳信源
离散平稳信源 连续平稳信源
第一节 信源的数学模型及分类
1、离散信源: 指发出在时间和幅度上都是离散分布 的离散消息的信源，如文字、数字、数据等符号都 是离散消息。 数学模型如下：
X a1 P p 1

1奈特＝1.44比特 1哈特＝3.32比特
一般都采用以“2”为底的对数，为了书写简洁，有
时把底数2略去不写。
如果p(xi)=1/2，则I(xi)=1比特。所以
信息论中 “比特”与 计算机术语 中“比特” 区别

1比特信息量就是两个互不相容的等 可能事件之一发生时所提供的信息 量。
信息论中“比特”是指抽象的信息
X (a, b) p ( x) p ( x)

b
a
p( x)dx 1
每次只输出一个消息，但消息的可能数目是无穷多个。
例：电压、温度等。
第二节 离散信源的信息熵
在信息传输的一般情况下，直观地把信息量定义为： 收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性） －（收到此信息后关于某事件发生的不确定性） 事件发生的不确定性与事件发生的概率有关。
信息量I(xi/yj)定义为 I ( x / y ) log i j 2
1 p( xi / y j )
表示在特定条件下（yj已定）随机事件xi 所带来的信息量
1 同理，xi已知时发生yj的条件自信息量为 I ( y / x ) log j i 2 p( y j / xi )
自信息量、条件自信息量和联合自信息量之间的关系
I (ai ) f [ P(ai )]
P (ai ) 是事件的发生的先验概率。
根据客观事实和人们的习惯概念，应满足以下条件：
第二节 离散信源的信息熵
（1）f ( pi ) 应是先验概率的单调递减函数，即
当 P 时 1 (a1 ) P 2 (a 2) （2）当 P(ai ) 1 时
f (P 1 ) f (P 2)
1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，表示该事件所提供的信息量。
第二节 离散信源的信息熵
自信息的测度单位及其换算关系
如果取以2为底，则信息量单位称为比特(binary unit) 如果取以e为底，则信息量单位称为奈特(nature unit) 如果取以10为底，则信息量单位称为哈特(Hart unit,以 纪念哈特莱首先提出用对数来度量消息)
I ( xi y j ) log2
1 p( xi ) p( y j )
log2
1 p( y j )
I ( xi ) I ( y j )
两个随机事件相互独立时，同时发生得到的信息量，等于
各自自信息量之和。
条件自信息量
设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自