第二章信源及信源熵信源及信源熵
2.1信源的数学模型和分类
2.2 离散信源熵和互信息
2.3 离散序列信源的熵
2.4 冗余度
2.5 连续信源和波形信源
2.1 信源的数学模型和分类信息论对信源研究的内容：
信源的建模：用恰当的随机过程来描述信号
关心角度：信号中携带的信息
信源输出信号中携带信息的效率的计算
熵率、冗余度
信源输出信息的有效表示
信源编码
信息论不研究信源的内部结构，不研
究信源为什么产生和怎样产生各种不
同的、可能的消息，而只研究信源的
各种可能的输出，以及输出各种可能
消息的不确定性。信源特性与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，是产生消息（符号）、消息序列（符号
序列）以及连续消息的来源。
实际通信中常见的信源有：语音、文字、图像、数据…。
2）信源的主要特性
信源的最基本的特性是具有统计不确定性，即信源发出的消
息是不确定的、随机的，因此可以用随机变量、随机矢量或
随机过程来描述信源输出的消息。
一般使用一个样本空间及其概率测度——概率空间（信源空
间）来描述信源，此概率空间也称为信源的数学模型。一、离散信源和连续信源
离散信源
信源发出的消息在时间上和幅度上是离散分布的。
信源是由有限或无限个取值离散的符号。
例如：投硬币、书信文字、计算机的代码、电报符
号、阿拉伯数字码等等。
连续信源
信源发出的消息在时间上和幅度上是连续分布的。
信源符号集A的取值是连续的，或者取值为实数集
（－∞，＋∞）。
例如：语音信号、热噪声信号、图像等等。二、离散信源的数学模型
（一）单消息（符号）信源
信源可能输出的符号集的取值是有限的或可数
的，而且每次只输出其中一个符号代表一个消
息。
它是最简单、最基本的信源，是组成实际信源
的基本单元。单符号离散信源的数学模型
我们可用一维离散型随机变量X来描述单符号离散信源输出
的消息。这个随机变量X的样本空间就是符号集A={a1a2…
aN}；而X的概率分布就是各消息出现的先验概率，信源的概
第2章离散信源与信息熵
1
信号
信号+干扰 消息
干扰 消息 信源 编码器 信道 译码器 信宿
噪声源
通信系统模型信息
2.1 信源的分类和描述
信源是信息的发源地，可以是人、生物、机器或其他事
物。信源的输出是包含信息的消息。消息的形式可以是
离散的或连续的。
2信源输出为连续信号形式（如语音），可用连续随机变
量描述。
连续信源模拟通信系统
离散信源数字通信系统信源输出是离散的消息符号（如书信），可用离散随机
变量描述。离散信源…Xi…Xj…
离散无记忆信源：输出符号XiXj之间相互无影响；
离散有记忆信源：输出符号XiXj 之间彼此依存。
3离散信源无记忆
有记忆发出单个符号
发出符号序列
马尔可夫信源
非马尔可夫信源
xiyj
将一粒棋子随意地放
在棋盘中的某列；
棋子放置的位置是一
个随机事件；
可看做一个发出单个
符号的离散信源。
512
12,,...,
(),(),...,()m
mxxxX
Ppxpxpx就数学意义来讲，信源就是一个概率场，可用概率空间
来描述信源。由离散随机变量X表示棋子位置：
10()1,()1m
ii
ipxpx
ix其中，
代表随机事件的某一结果。
62.2离散信源的信息熵
信息的可度量性是信息论建立的基础；
香农的信息论用事件发生概率的对数来描述事件的不确
定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量
–定义2.1 任意随机事件xi的自信息量定义为：
ii
i1(x)loglog(x)
(x)IP
P
7小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1
的确定性事件，自信息量为零。ii
i1(x)loglog(x)
(x)IP
P
信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit）；
以e为底，单位奈特（nat）；
22loglog,loglogln
logca
cbbxex
a
8–例：棋盘共8列，甲随手一放，将一枚
棋子放在了第3列。
信息论习题集
一、名词解释（每词2分）（25道）
1、“本体论”的信息（P3） 2、“认识论”信息（P3） 3、离散信源（11）
4、自信息量（12） 5、离散平稳无记忆信源（49） 6、马尔可夫信源（58）
7、信源冗余度 （66） 8、连续信源 （68） 9、信道容量 （95）
10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）
13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138）
16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181）
19、游程变换 （181） 20、L-D编码（184）、 21、冗余变换 （184）
22、BSC信道 （189） 23、码的最小距离 （193）24、线性分组码 （195）
25、循环码 （213）
二、填空（每空1分）（100道）
1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
设有一离散无记忆信源，其概率空间为
8/14/1324/18/310)(4321xxxxXPX
该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求：
(1) 此消息的自信息量是多少
(2) 此消息中平均每符号携带的信息量是多少
解：
(1)
此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：
62514814183p
此消息的信息量是：bitpI 811.87log
(2)
此消息中平均每符号携带的信息量是：bitnI 951.145/811.87/
某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为
4/34/110)(XPX
(1) 求信息符号的平均熵；
(2) 由100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式；
(3) 计算(2)中序列的熵。
解：
(1)
bitxpxpXHiii 811.043log4341log41)(log)()(
(2) bitmxpxIxpmiimmmi 585.15.4143log)(log)(434341)(100100100100100
(3)
bitXHXH 1.81811.0100)(100)(100
某信源的消息符号集的概率分布和二进制代码如题表所列。
题表
信源 0u 1u 2u 3u
p 1/2 1/4 1/8
1/8
代码
0 10 110 111
(1) 求信息的符号熵；
(2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵；
