当前位置：文档之家 › 第2章_离散信源及信息测度1

第2章_离散信源及信息测度1

  • 格式：pdf
  • 大小：1.17 MB
  • 文档页数：38

下载文档原格式

  / 38

合集下载

信息论与编码第二章 离散信源新

信息论与编码第二章 离散信源新
例2：箱中有赤、橙、黄、青、兰、紫六种颜 色的32只彩球，其中赤16球，澄8球，黄4 球，青2球，蓝、紫各1球。有放回抽取：
x 赤橙黄青蓝紫 p(x) 1/21/41/81/16 1/32 1/3 2
精选ppt
二 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由 许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称
f ( pi ) 0 。
（3）小概率事件发生，会给人 以极大的刺激，提供很大的信息量，即
p(ai ) 0 ， f ( pi ) 。
（4）独立事件的联合信息量，应等于它们各自信息量之和。
先验概率越大I(，a i得)到 的f信[p 息(a 量i越)小 ]， 反l之o 信p 息(a g 量i)越 大lop (1 g a i)
如果各维联合概率分布均与时间起点无关，那么，信源是完全平 稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源 称为离散平稳信源。这时有：
P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) …… P(xi xi+1 … xi+N ) =精选pPpt(xj xj+1 … xi+N )
bj
接收端
先验概率 p(ai ) 是指在接收到一个符号以前，选择符合ai 作为输入符号的概率
后验概率 p(ai bj ) 是指在接收到一个符号bj 以后，选择符合ai 作为输入符号的概率
精选ppt
自信息
解决信息的度量问题 信源发出的消息是随机的。未接收之前，收信者
对信源发出的消息是不确定的。消息传到收信者 后，才消除了不确定性，获得了信息。 某一消息发出的不确定性越大，一旦发生，接收 者消除的不确定性就越大，获得的信息也就越大。 一般而言，收信者所获取的信息量，在数量上等 于通信前后不确定性消除（减少）的量。

信息论、编码及应用章 (2)

信息论、编码及应用章 (2)
熵函数的这种对称性，充分表明了信息熵表征信源的总体统计 特性，它是信源总体的信息测度。但它也有局限性，即它只能用于 度量客观熵，不能用于描述事件本身的主观意义。
第2章 离散信源及其信息测度
2.4.3 非负性
根据信息熵的定义H (X ) r P(ai )log P(ai ) ，因
i1
0≤P(ai)≤1(i=1，2，…，r)，故H(X)≥0。
第2章 离散信源及其信息测度
X P( X
)
a1 P(a1
)
a2 P(a2 )
ar P(ar )
其中P(ai)(i=1，2，…，r)满足
r
P(ai ) 1
i 1
(2-1) (2-2)
可以看出，不同的信源，对应不同的数学模型，即不同的信源
空间。如果一个信源已经给定，则相应的信源空间就唯一确定了；
X~
P(
X~
)
P1
a1
1
a2
P2 2
X1
P(
X
1
)
a1 0.5
0a.25,
X2
P(
X
2
)
a1 0.7
0a.23,
X3
P(
X
3
)
a1 0.99
a2 0.01
(3) 用信息熵H(X)来表示随机变量X的随机性。
第2章 离散信源及其信息测度 2.4 信息熵的基本性质
2.4.1 信息熵及其熵函数表示 根据信息熵的定义
了解数学中有关三种不同类型的平均方法以及它们各自的计算 公式。这三种平均方法分别是算术平均、统计平均和几何平均， 它们的数学定义分别如下:
x算术平均
x统计平均
x1 x2 xN N

信息论与编码第二章

信息论与编码第二章

i 1
qN
qq
H ( X N ) p(ai ) log p(ai ) ... p(ai1ai2 ...aiN ) log p(ai1ai2 ...aiN )
iq1 q
i11 iN 1
... p(ai1ai2 ...aiN ) log{p(ai1) p(ai2 )...p(aiN )}
2 p( 2 )
qN p( qN
)
a1a1 a1 p(a1a1 a1
)
a2 a1 a1 p(a2 a1 a1 )
a3a1 a1 p(a3a1 a1 )
aqaq aq p(aq aq aq )
• 离散(lísàn)无记忆N次扩展信源熵为：
• 证明： qN H ( X N ) H ( X 1 X 2 ...X N ) p( i ) log p( i ) NH ( X )
H Nk (X )
1 N k
H(X1 X N X Nk )
1
N k
H ( X 1 X N 1 ) H ( X N | X 1 X N 1 ) H ( X N k | X 1 X N k 1 )
i1 1 iN 1
H ( X 1 ) H ( X 2 | X 1 ) H ( X N | X 1 X 2 X N 1 )
N个分量统计关联的随机矢量 x [x1x2 xN ]的联合
(liáHn(Xh1 éX)熵N )
，等于起始时刻的无条件
熵与各阶条件熵之和，并不随时间的推移而
变化。 精品文档
log p(ai ) log p(b j ) I (ai ) I (b j )
精品文档
自信息(xìnxī)的表达I(a式i ) log[1/ p(ai )]

信息论第2章(2010)

信息论第2章(2010)

ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？

信息论基础第2章离散信源及其信息度量[83页]

信息论基础第2章离散信源及其信息度量[83页]
④ 一般情况下，如果以 r 为底 r 1，则
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。

2015秋.信息论.第2章离散信源与信息熵

2015秋.信息论.第2章离散信源与信息熵

第2章离散信源与信息熵信号 信号+干扰 消息干扰消息 信源 编码器 信道 译码器 信宿 噪声源通信系统模型信息2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。

信源的输出是包含信息的消息。

消息的形式可以是离散的或连续的。

信源输出为连续信号形式（如语音），可用连续随机变量描述。

连续信源←→模拟通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。

离散信源←→数字通信系统离散信源…X i…X j…离散无记忆信源：输出符号Xi Xj之间相互无影响；离散有记忆信源：输出符号Xi Xj之间彼此依存。

3离散信源无记忆有记忆发出单个符号发出符号序列马尔可夫信源非马尔可夫信源y j将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。

x i1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。

由离散随机变量X 表示棋子位置：10()1,()1m i ii p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。

2.2离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。

2.2.1自信息量–定义2.1 任意随机事件x i 的自信息量定义为：i i i 1(x )log log (x )(x )I P P ==-小概率事件所包含的不确定性大，自信息量大。

大概率事件所包含的不确定性小，自信息量小。

概率为1的确定性事件，自信息量为零。

i i i 1(x )log log (x )(x )I P P ==-信息量的单位与公式中的对数取底有关。

以2为底，单位比特（bit ）；以e 为底，单位奈特（nat ）；()22log log ,log log ln log c a c b b x e x a==⋅–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。

第3讲——离散信源的数学模型及其信息测度


p(a a ) log p(a
i j i 0 j 0
2
2
j
| ai ) 0.872 bits
而信源X的信息熵为
H ( X1)
p(a ) log p(a ) 1.543
i i i 0
2
bits
比较
H 2 ( X) H (X1 )
符号之间存在关联性
H (X 2 X1 ) H (X1 )
离散平稳信源特点
（1）条件熵H (XL|X1X2·· L-1) 随L的增加非递增 ·X （2）L给定时, H L(X)≥ H (XL|X1X2·· L-1) ·X （3）平均符号熵HL(X)随L的增加非递增
lim lim （4） H ( X ) L H L ( X) L H ( X L | X 1 X 2 X L 1 )
冗余度
log 2 n H0 ( X ) H1 ( X ) H 2 ( X ) H ( X )
表明信源的记忆长度越长，熵就越小；即信源符号的 相关性越强，所提供的平均信息量就越小。 为了定量地描述信源的有效性，定义: 相对率
H ( X ) H0 ( X )
冗余度 1 1
p( xi / y j ) p( xi ) p( xi y j ) p( xi ) p( y j ) p( y j / xi ) p( y j )
I ( X ; Y ) p( xi y j ) log
i 1 j 1 n m
I ( X ; Y ) p( xi y j ) log
H (X2 ) log2 4 2 bit – 即用2比特才能表示该事件。 • 信源的符号熵
H 2 ( X) 1 H ( X 2 ) 1 bit 2

第2章 信源与信源熵(1)

2016年5月29日7时35 分 13
表述有记忆信源要比表述无记忆信源困 难得多。实际上信源发出的符号往往只与前 面几个符号的依赖关系较强，而与更前面的 符号依赖关系就弱。为此可以限制随机序列 的记忆长度。 当记忆长度为m+1时，称这种有记忆信源 为m阶马尔可夫信源。也就是信源所发出的符 号只与前m个符号有关，与更前面的符号无关。
2016年5月29日7时35 分 6
（二）离散信源的度量 §2.1 信源的数学模型及其分类 正如绪论中所述，在通信系统中收信 者在未收到消息以前，对信源发出 什么消息是不确定的，所以可用随 机变量或随机矢量来描述信源输出 的消息。或者说，用概率空间来描 述信源。 离散信源的数学模型就是离散型的概 率空间：
这个I(ai)也就是ai本身所含有的信息量，即能
提供的全部信息量，我们称之为ai 的“自信息 量”。
2016年5月29日7时35 分 18
根据上述的一般原则，就可有：
I(ai)＝收到ai前，收信者对信源发ai的不确 定性。 这就是说，信源符号 ai 的自信息量，在 数量上等于信源发符号 ai 的不确定性。 ai 的 度量问题，就转变为信源发符号 ai 的不确定 性的度量问题。 我们知道，不确定性是与可能性相联系 的，而可能性又可由概率的大小来表示．所 以可以断言，自信息量I(ai)一定是信源发符 号ai的先验概率p(ai)的某一函数。
来描述，其中N可为有限正整数或可数的无限值。
2016年5月29日7时35 分
10
在上述随机矢量中，若每个随机变量
x i (i 1,2, , N )
都是离散的，则可用 N重离散概率空间来描述 这类信源。 即若N维随机矢量 X ( x1 , x 2 , , x N ) 中

信息论基础课件第2章离散信源


)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ：
q
H (Y | X ai ) P(bj | ai ) log P(bj | ai ) j 1
当信源X发生的条件下，信源Y的不确定性，即条件熵为：
q
qq
H (Y | X ) P(ai )H (Y | X ai )
P(ai )P(bj | ai ) log P(bj | ai )
i 1
X P(x)
a1 p(a1)
a2 p(a2
)
... ...
aq p(aq
)
并且满足
q
p(ai ) 1
i1
其中样本空间为
， a1, a2 ,..., aq
qI
，I为正整数集；
符号ai出现的概率为p(ai)。信源的概率空间是一个完
备集。
连续信源：
信源输出的是单个符号或代码的消息，但 信源符号集的取值是连续的，可以用一维连 续型随机变量来描述。相应的信源的数学模 型就是连续型随机变量的概率空间，表示为：
H(X ) Hr(X) = log r
信源的信息熵H是从整个信源的统计特性来考虑的， 是从平均意义上来表征信源的总体信息测度，是信源的平 均不确定程度的大小。
例：熵的计算
有一布袋内放100个球，其中80个球是红色的， 20个球是白色的。随机摸出一个球，猜测是什么颜 色，那么其概率空间为：

实验一 离散信源及其信息测度



X P


0 0.7
1 0.3
求该信源的熵和其二次、三次扩展信源的熵。(编写一 M 函数文件：
function [H_X1,H_X2,H_X3]=t03(X1,P1) %t03 求信源和其二次、三次扩展信源的熵
%输入为 X1,P1,分别为信源符号和概率阵
对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料电试力卷保相护互装作置用调与试相技互术关，系电，通力根1保过据护管生高线产中敷工资设艺料技高试术中卷0资不配料仅置试可技卷以术要解是求决指，吊机对顶组电层在气配进设置行备不继进规电行范保空高护载中高与资中带料资负试料荷卷试下问卷高题总中2体2资，配料而置试且时卷可，调保需控障要试各在验类最；管大对路限设习度备题内进到来行位确调。保整在机使管组其路高在敷中正设资常过料工程试况1卷中下安，与全要过，加度并强工且看作尽护下可1都关能可于地以管缩正路小常高故工中障作资高；料中对试资于卷料继连试电接卷保管破护口坏进处范行理围整高，核中或对资者定料对值试某，卷些审弯异核扁常与度高校固中对定资图盒料纸位试，置卷编.工保写况护复进层杂行防设自腐备动跨与处接装理地置，线高尤弯中其曲资要半料避径试免标卷错高调误等试高，方中要案资求，料技编试术写5、卷交重电保底要气护。设设装管备备置线4高、调动敷中电试作设资气高，技料课中并3术试、件资且中卷管中料拒包试路调试绝含验敷试卷动线方设技作槽案技术，、以术来管及避架系免等统不多启必项动要方高式案中，；资为对料解整试决套卷高启突中动然语过停文程机电中。气高因课中此件资，中料电管试力壁卷高薄电中、气资接设料口备试不进卷严行保等调护问试装题工置，作调合并试理且技利进术用行，管过要线关求敷运电设行力技高保术中护。资装线料置缆试做敷卷到设技准原术确则指灵：导活在。。分对对线于于盒调差处试动，过保当程护不中装同高置电中高压资中回料资路试料交卷试叉技卷时术调，问试应题技采，术用作是金为指属调发隔试电板人机进员一行，变隔需压开要器处在组理事在；前发同掌生一握内线图部槽 纸故内资障，料时强、，电设需回备要路制进须造行同厂外时家部切出电断具源习高高题中中电资资源料料，试试线卷卷缆试切敷验除设报从完告而毕与采，相用要关高进技中行术资检资料查料试和，卷检并主测且要处了保理解护。现装场置设。备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
显然，信源空间必定是一个完备集，即
(2.1)

DUT
N
P ( x
i
) 1
信息论基础
(2.2)
i 1
18
2.2 离散信源的信息熵
度量信息的基本思路
考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。 设x1为最大可能的输出，xN为最小可能的输出。
例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰 雹或其它强对流天气。 哪个输出包含更多的信息，x1还是xN？ 直观地，传递xN 给出了更多的信息。
DUT
信息论基础
25
2.2 离散信源的信息熵
因此，信源又可以看作是具有一定概率分布的某一符号集合
DUT
信息论基础
17
2.2 离散信源的信息熵
单符号离散信源
定义2.2
若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称 为信源的概率空间或简称为信源空间。
信源空间通常用如下方式来描述：
x1 , x2 , , xi , , xN X: [X P] : P(X) : P( x1 ), P( x2 ), , P( xi ), , P( x N )
若信源中事件xi的出现所带来的信息量用I(xi)来表示 并称之为事件xi的自信息量， 则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须
满足以下几个条件：
DUT
信息论基础
21
2.2 离散信源的信息熵
度量信息的基本思路 1. 信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： 如果P(xi) > P(xj)，则I(xi) < I(xj)。 极限情况，若P(xi) = 0, 则 I(xi) → ∞； 若 P(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi、Y 中出现yj的联合信息量 I (xi ,yj) = I (x i) + I (yj)
只有对数函数能够同时满足以上条件。
DUT
信息论基础
22
2.2 离散信源的信息熵
度量信息的基本思路
定义2.3
事件xi的出现所带来的信息量为事件xi的自信息量。
1 I ( x i ) log log P ( x i ) P ( xi )
(2.3)
DUT
信息论基础
23
2.2 离散信源的信息熵
其中ai，为输出序列，共有q 种可能取值。这个N维随机矢量也可用随机序列 描述
DUT
信息论基础
13
（a）平稳信源和非平稳信源 按照随机序列性质分成平稳随机序列和非平稳随机序列。 一维平稳信源即任意两个不同时刻信源发出的符号的概率分布完全相同。 若一维平稳信源任意时刻信源连续发出两个符号的联合概率分布也完全 相同，则为二维平稳信源。如果各维联合概率分布均与时间起点无关， 则称信源的完全平稳的，简称平稳信源。 （b）有记忆信源和无记忆信源 实际系统中主要研究的是平稳信源，非平稳信源过于复杂。 根据信源发出符号之间的依赖关系可分为无记忆信源和有记忆信源。 有记忆信源中当记忆长度为m+1，这种信源称为m阶马尔可夫信源。如果 此马尔可夫信源的条件概率与时间起点无关，则此信源为时齐马尔可夫 信源。
X2 , Xn ..., X X1 , P ( X) P ( X ), P ( X ), ..., P ( X ) 1 2 n
如果其中每个矢量有N个符号（随机变量）构成，则概率空间为q
X N a1, a2 , , ai , , aq N , q n N P( X ) p(a1 ), p(a2 ),, p(ai ),, p(aq )
DUT
信息论基础
14
2.2 离散信源的信息熵
单符号离散信源
从讨论信源的特征入手，给出定量度量信息的方法。 以天文学范畴的事件为例。

小行星撞击地球、月食、日食、流星雨、星系的产 生与消亡等等，都是天文学内一个个离散的事件 如果将一个事件用一个符号来表示，则一个符号代 表一个完整的消息 如果把都是天文学内的事件看作是天文学这个“信源” 输出的符号，则这个信源可以看作是单符号离散信 源。
单符号离散信源的实例
掷骰子每次只能是1,2,3,4,5,6中的某一个； 天气预报可能是晴、阴、雨、雪、风、冰雹… 中的一种或其组 合； 二进制通信中传输的只是1、0两个数字；等等。
这种符号或数字都可以看作某一集合中的事件，每个符号或数字
（事件）都是信源中的元素，它们的出现往往具有一定的概率。
狭义信息论研究的是收、发端联合优化的问题，而重
点在各种编码。
它是通信中客观存在的问题的理论提升。
DUT
信息论基础
2
信息理论的研究内容
一般信息论
研究从广义的通信引出的基础理论问题：
Shannon信息论； Wiener的微弱信号检测理论。
微弱信号检测又称最佳接收

是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收 信道传输的信号的理论。 主要研究两个方面的问题：从噪声中去判决有用信号是否出现 和从噪声中去测量有用信号的参数。 该理论应用近代数理统计的方法来研究最佳接收的问题，系统 和定量地综合出存在噪声和干扰时的最佳接收机结构。
在通信及目前的绝大多数信息传输系统中，都是以二进制为基础
的，因此信息量单位以比特最为常用
在没有特别说明的情况下，通常(2.3)式的量纲即为比特，且底数2
被省略。
DUT
信息论基础
24
2.2 离散信源的信息熵
度量信息的基本思路
例2.1
一个1, 0等概的二进制随机序列，求任一码元的自信 息量。 解：任一码元不是为0就是为1 因为 P(0) = P(1) = 1/2 所以 I (0) = I (1) = – log (1/2) = 1(bit)
DUT
信息论基础
6
信息的一般含义及定义
《科学技术大系》将这三者合在一起加以说明：
信息·消息·信号：

信息是认识主体（人、生物、机器）所感受的或所表达的事物运动的 状态和运动状态变化的方式。信息是人们在适应外部世界和控制外部 世界的过程中，同外部世界进行交换的内容。信息的特征为：
（1）接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、 新内容； （2）信息是能使认识某一事物的未知性或不确定性减少的有用知识； （3）信息可以产生，也可以消失，同时信息可以被携带、贮存及处理; （4）信息是可以量度的，信息量有多少的差别。
DUT
信息论基础
3
信息理论的研究内容
一般信息论
除此之外，一般信息论的研究还括：噪声理论、信
号滤波与预测、统计检测与估计理论、调制理论、信 号处理与信号设计理论等。
可见它总结了Shannon 和Wiener以及其他学者的研究
成果，是广义通信中客观存在的问题的理论提升。
DUT
信息论基础
4
信息理论的研究内容
DUT
信息论基础
5
信息理论的研究内容
广义信息论
广义信息论从人们对信息特征的理解出发，从客观和
主观两个方面全面地研究信息的度量、获取、传输、 存储、加工处理、利用以及功用等，理论上说是最全 面的信息理论，但由于主观因素过于复杂，很多问题 本身及其解释尚无定论，或者受到人类知识水平的限 制目前还得不到合理的解释，因此广义信息论目前还 处于正在发展的阶段。
信息论基础
12-13学年 第二学期 春季
DUT
信息论基础
信息理论的研究内容
狭义信息论
狭义信息论主要总结了Shannon的研究成果，因此又
称为Shannon信息论。
在信息可以度量的基础上，研究如何有效、可靠地传
递信息。
由图1.2可见，有效、可靠地传递信息必然贯穿于通信
系统从信源到信宿的各个部分，
xi1与xi2，即xi = { xi1，xi2 }。
例如，假设天气预报中的天气及温度变化是与污染程度相关性 很小甚至几乎完全独立的，则信源的每一个输出就能分成独立 的两部分。
直观地，传递xi所包含的信息量是分别传递xi1和xi2所得
到的信息量的和。
DUT
信息论基础
20
2.2 离散信源的信息熵
度量信息的基本思路
度量信息的基本思路
I(xi)实质上是无量纲的 为研究问题的方便，根据对数的底定义信息量的量纲

对数的底取2，则信息量的单位为比特（bit）； 取e（自然对数），则单位为奈特（nat）； 取10（常用对数），则单位为哈特。 利用换底公式容易求得： 1nat1.44bit 1Hart3.32bit
DUT
信息论基础
9
第二章 离散信源及信息测度
DUT
信息论基础
本章内容提要
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信源的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.8 信源剩余度自然语言的熵
DUT
信息论基础
11
2.1 信源的数学模型及分类
必须把消息加载到具有某种物理特征的信号上去。
• •
信号是信息的载荷子或载体，它是物理性的。 在近代通信中信号往往是电信号和光信号。
DUT
信息论基础
8
1.2 信息科学的有关概念
1.2.1 信息科学的创立
信息论要回答的一些最基本的理论问题：
（1）什么是信息？如何度量？ （2）在给定的信道中，信息传输有没有极限？ （3）信息能否被压缩和恢复？极限条件是什么？ （4）从实际环境中（如干扰、噪声）抽取信息，极限条 件是什么？ （5）在允许一定失真（Distortion）的条件下，信息能 否被更大程度地压缩？极限条件是什么？ （6）设计什么样的系统才能达到上述极限？ （7）现实中，接近极限的设备是否存在？