信息的度量

东南大学移动通信国家重点实验室
4
信息论与编码课件
2.1 度量信息的基本思路
2.1.1单符号离散信源
➢ 单符号离散信源的实例 ✓ 掷骰子每次只能是1,2,3,4,5,6中的某一个； ✓ 天气预报可能是晴、阴、雨、雪、风、冰雹…
中的一种或其组合以及温度、污染等；
✓ 二进制通信中传输的只是1、0两个数字；等等。
2.1.2度量信息的基本思路
➢例2.1 一个, 0等概的二进制随机序列，求任一 码元的自信息量。
解：任一码元不是为0就是为1 因为 P(0) = P(1) = 1/2 所以 I (0) = I (1) = – lb (1/2) = 1(bit)
✓ 例如，假设天气预报中的天气及温度变化是与污染程 度相关性很小甚至几乎完全独立的，则信源的每一个 输出就能分成独立的两部分。
➢ 直观地，传递xi所包含的信息量是分别传递xi1 和xi2所得到的信息量的和。
东南大学移动通信国家重点实验室
8
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢ 信源空间通常用如下方式来描述：
X: [X P]: P(X) :
x1 , P( x1 ),
x2 , , xi , , P(x2 ), , P(xi ),
,
➢显然，信源空间必定是一个完备集，即
N
P(xi ) 1 i 1
xN
P(xN ) (2.1) (2.2)
东南大学移动通信国家重点实验室
1 P( xi
)

lb P( xi
)
为事件xi的自信息量。
(2.3)
东南大学移动通信国家重点实验室
11
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢ I(xi)实质上是无量纲的 ➢ 为研究问题的方便，根据对数的底定义信息量的量纲
✓ 对数的底取2，则信息量的单位为比特（bit）； ✓ 取e（自然对数），则单位为奈特（nat）； ✓ 取10（常用对数），则单位为哈特。 ✓ 利用换底公式容易求得：
1nat1.44bit
1Hart3.32bit
➢ 在通信及目前的绝大多数信息传输系统中，都是以二 进制为基础的，因此信息量单位以比特最为常用
➢ 在没有特别说明的情况下，通常(2.3)式的量纲即为比 特，且底数2被省略。
东南大学移动通信国家重点实验室
12
信息论与编码课件
2.1 度量信息的基本思路
信息论与编码课件
东南大学移动通信国家重点实验室
1
信息论与编码课件
第2章 信息的度量
➢信息论的发展是以信息可以度量为基础 的，度量信息的量称为信息量。
➢对于随机出现的事件，它的出现会给人 们带来多大的信息量？
➢考虑到通信系统或很多实际的信息传输 系统，对于所传输的消息如何用信息量 的方法来描述？
➢本章将围绕这些问题展开讨论。
6
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢ 考虑一个单符号离散信源，它的输出被传送给对此感 兴趣的一方。
➢ 设x1为最大可能的输出，xN为最小可能的输出。 ✓ 例气如，x，N为假冰设雹信或源其输它出强代对表流天天气气情。况，x1为晴或多云天 ✓ 哪个输出包含更多的信息，x1还是xN？ ✓ 直观地，传递xN 给出了更多的信息。 ➢ 由此可以合理地推算信源输出的信息量应该是输出事
东南大学移动通信国家重点实验室
2
信息论与编码课件
2.1 度量信息的基本思路
2.1.1单符号离散信源
➢ 从讨论信源的特征入手，给出定量度量信息 的方法。
➢ 以天文学范畴的事件为例。
✓ 小行星撞击地球、月食、日食、流星雨、星系的产生 与消亡等等，都是天文学内一个个离散的事件
✓ 如果将一个事件用一个符号来表示，则一个符号代表 一个完整的消息
✓ 如果把都是天文学内的事件看作是天文学这个“信源” 输出的符号，则这个信源可以看作是单符号离散信源。
东南大学移动通信国家重点实验室
3
信息论与编码课件
2.1 度量信息的基本思路
2.1.1单符号离散信源
➢由此给出如下定义： • 定义2.1
如果信源发出的消息是离散的、有限 或无限可列的符号或数字，且一个符号 代表一条完整的消息，则称这种信源为 单符号离散信源。
➢ 这种符号或数字都可以看作某一集合中的事件， 每个符号或数字（事件）都是信源中的元素， 它们的出现往往具有一定的概率。
➢ 因此，信源又可以看作是具有一定概率分布的 某一符号集合。
东南大学移动通信国家重点实验室
5
信息论与编码课件
2.1 度量信息的基本思路
2.1.1单符号离散信源
• 定义2.2
若信源的输出是随机事件X，其出现概率为P(X),，则它 们所构成的集合，称为信源的概率空间或简称为信源空 间。
X中出现xi、Y中出现yj的联合信息量 I (xi ,yj) = I (x i) + I (yj)
➢ 只有对数函数能够同时满足以上条件。
东南大学移动通信国家重点实验室
10
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢定义2.3
事件xi的出现所带来的信息量
I (xi
)

lb
件的概率的减函数。 ➢ 信息量的另一个直观属性是，某一输出事件的概率的
微小变化不会很大地改变所传递的信息量，即信息量 应该是信源输出事件概率的连续减函数。
东南大学移动通信国家重点实验室
7
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
➢ 假设与输出xi相关的信息能被分成独立的两部 分，比如xi1与xi2，即xi = { xi1，xi2 }。
➢ 若信源中事件xi的出现所带来的信息量用 I(xi)来表示并称之为事件xi的自信息量，
➢ 则概率为p(xi)的信源输出xi所包含的信息 量I(xi)必须满足以下几个条件：
东南大学移动通信国家重点实验室
9
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
1. 信的源取输值出无x关i所。包含的信息量仅依赖于它的概率，而与它 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： ✓ 如果P(xi) > P(xj)，则I(xi) < I(xj)。 ✓ 极限情况，若P(xi) = 0, 则 I(xi) → ∞； ✓ 若 P(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则