第二章信息量和熵
1.互信息量
2.平均自信息量-熵
3.平均互信息量
4.相对熵、熵、和互信息量的凸性
5.连续随机变量的熵
6.有记忆马尔可夫信源
X,Y的联合空间
2.平均自信息量--熵
信源的平均自信息量：又称为信源X的熵，信源熵是在平均意义上来表征信源的总体特征。
定义式：信源中各个符号自信息量的数学期望，即：
H(X)=E(I(X))=∑p(x i)I(x i)=-∑p(x i) log p(x i)
由上式可以看出，不同的信源因概率空间不同熵值就不同
规定：当符号概率为0时，规定p(x
) log p(x i)也为0
i
信息熵表示了信源输出前，信源的平均不确定度
信息熵表示了信源输出后，每个符号所提供的平均信息量信息熵H(X)反映了随机变量X的随机性
信息熵的唯一性定理
香农给出了信息熵函数满足的三个条件（公理化定义）–连续性：
–等概时单调增：
–可加性：
要寻找我校二年级的一位学生，设a是该系二年级学生总数，k是该系二年级的班级数，而bi是该系全体二年级第i班的学生人数。
二年级全体学生的不确定定性=班级的不确定性+每个班学生的平均不确定性。
信息熵的唯一性定理
证明思路流程
?必要性：容易验证满足性质(1～3)，?充分性
等概情况下熵函数的形式
由等概走向有理数非等概的情况
由有理数走向无理数
Khinchin条件
连续性
可加性
极值条件
零概率事件不影响不确定性
Khinchin条件与香农条件等价
(2)联合熵（共熵）
定义：联合熵是联合符号集合XY 上的每个元素对x i y j 的联合自信息量的联合概率加权统计平均值。定义为：
H （XY ）=【说明】表示X 和Y 同时发生的平均不确定度。
,,(,)(,)(,)log (,)=-∑∑i j i j i j i j
i j i j
p x y I x y p x y p x y ()()
()()
,(,)(,)==X Y i j Y X i j H XY E I x y E E I x y
“信息”一词最早出自南唐诗人李中《暮春怀故人》中的“梦断美人沉信息，目穿长路依楼台”。再用“李中暮春怀故人”查得原诗在〈全唐诗〉748卷 Information 1.信息是物质、能量、信息及其属性的标示。[2006年,医学信息(杂志)]. 2.信息是确定性的增加。 3.信息是事物现象及其属性标识的集合 绪论 对于读者来说，如何通俗的了解和接受所谓信息的概念，来得更加重要。 信息，假如使用数学表达的话，很难理解。 举个例子，有十个人，两两传递一句话，“我告诉你一句话！”到第十个人那里的时候，可能听到的是这样的，“火车什么时候出发？”这说明什么问题呢？耳提面命，两两传递，语言失真！一句同样的话，经过十个人，九次传递，面目全非。 再举个例子， 别人告诉你个事，说 1、“前面有个人！”——非常含糊！ 2、“前面有个男人！”——更具体！ 3、“前面有个老人，是个男的！”——更具体！ 4、“前面有个老头，是个盲人！”——更具体！ 5、“前面有个老头，是个盲人！迷路了！”——更具体！ 6、“前面有个老头，是个盲人！迷路了！需要帮助！”——更具体！ 7、“前面有个老头，是个盲人！迷路了！有个警察把他送回家了！”——更具体！ 在大多数情况下，我们听到的和事情的本质，是存在非常大的差异的！我们听到的是消息！而不是信息！ 举个例子，单位通知作息时间， “下周开始， 长白班， 上午上班时间8：00——12：00， 下午上班时间14：00——18：00， 即日生效。” 这就是信息应用的一个具体事例。 提供一个精准数据，供传播执行。 [编辑本段]一、信息的基本定义 信息是物质、能量、信息及其属性的标示。[2006年,医学信息(杂志)]. 信息是确定性的增加。 信息是事物现象及其属性标识的集合 信息以物质介质为载体,传递和反映世界各种事物存在方式运动作态的表征。 信息（Information）是物质运动规律总和,信息不是物质，也不是能量! 信息是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。 信息的目的是用来“消除不确定的因素”。 信息相关资料: 图片信息（又称作讯息），又称资讯，是一种消息，通常以文字或声音、图象的形式来表现，是数据按有意义的关联排列的结果。信息由意义和符号组成。文献是信息的一种，即通常讲到的文献信息。信息就是指以声音、语言、文字、图像、动画、气味等方式所表示的实际内容。
第二章： 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 《 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) ( 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) " 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 》 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
· 1 · 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-==
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11= 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
第一章 信息与负熵 1.1耗耗耗耗耗耗耗耗耗耗? 1948年，维纳(N.Wiener)出版《控制耗》一书〔8〕，申农(C.E.Shannon)发表《通信的数学耗耗》〔9〕一文，几乎同时以熵的形式表述了信息量的概念。但信息耗的熵概念较热力学的熵概念推广了。这一点，在科学界引起了骚动和混乱。普里高津 (I.Prigoging) 在提出耗耗耗耗耗耗之前，曾在《不可逆过程热力学导耗》〔10〕 一书中说：“生物体的组织耗耗普遍地增加的事实相应于熵的减少”。这里所说的熵，是相应于信息耗的熵而不是热力学的熵。 看来，普里高津后来察觉到了这一点，因此他在耗耗耗耗耗耗中就小心翼翼地避免用熵减或负熵来指有序化。他只是说，耗耗耗耗依靠来自环境的负熵流输入而产生有序化，但他决不肯再〖ZK)〗轻易说有序化也是负熵。这是普里高津的严谨之耗。他避开了信息耗的熵和负熵的概念，而将整个耗耗耗耗耗耗局限于热力学中。即使是“非平衡、非线性热力学”，也仍然是热力学!非平衡非线性，普里高津事实上已经在耗经典热力学开刀了，但他却没有做得更彻底一些。 可是，事情的发展却偏偏不以人的意志为转移。在目前浩如烟海的评介性文章中，耗耗耗耗屡屡被定义为“在远离平衡的条例下，借助于外界能量流、质量流和信息流而维持的一种空间或时间的有序耗耗”。偏偏要节外生枝，在能量流和质量流之外再加上“信息流”!这样的说法已经连篇累牍，而普里高津却不置一词，莫非他已经默许了? 更有甚者，不少人还在耗耗耗耗与信息系统之间划等号。有一篇题为“科学系统与耗耗耗耗”的文章，就毫无顾忌地说：“对于科学系统，特别重要的是伴随着物质能量交换过程而产生的信息过程”。好家伙! 被普里高津小心翼翼地排除了的信息幽灵，又神不知鬼不觉地溜进了耗耗耗耗领域。 把信息系统与耗耗耗耗联系起来的文章比比皆是，普里高津本人也有志于社会系统的探索。社会系统不是一个热力学系统而是信息系统。那么，一方面要避开信息耗的概念，同时又要涉足于信息系统，“又要马儿跑，又要马儿不吃草”，行得通吗?这岂不是“普里高津悖耗”了吗? 普里高津的耗耗耗耗耗耗相对于经典热力学来说，是一次科学革命，正如普朗克的量子耗相对于经典力学来说是一次科学革命一样。现在我们在信息系统的研究领域已经面临推广耗耗耗耗耗耗的问题，这如同量子力学诞生前夕，旧量子耗所面临的问题一样。 经典力学—→旧量子耗—→量子力学 经典热力学—→耗耗耗耗耗耗—→? 我们将怎样来回答这个问号呢?耗耗耗耗耗耗耗耗耗耗?
第2章离散信源与信息熵 信号 信号+干扰 消息 干扰 消息 信源 编码器 信道 译码器 信宿 噪声源 通信系统模型 信息
2.1 信源的分类和描述 信源是信息的发源地，可以是人、生物、机器或其他事物。信源的输出是包含信息的消息。消息的形式可以是离散的或连续的。 信源输出为连续信号形式（如语音），可用连续随机变量描述。 连续信源←→模拟通信系统 信源输出是离散的消息符号（如书信），可用离散随机变量描述。 离散信源←→数字通信系统
离散信源…X i…X j… 离散无记忆信源：输出符号X i X j 之间相互无影响； 离散有记忆信源：输出符号X i X j 之间彼此依存。 3 离散信源 无记忆 有记忆发出单个符号发出符号序列马尔可夫信源 非马尔可夫信源
y j 将一粒棋子随意地放 在棋盘中的某列； 棋子放置的位置是一 个随机事件； 可看做一个发出单个 符号的离散信源。 x i
1212,,...,(),(),...,()m m x x x X P p x p x p x ????=???????? 就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。由离散随机变量X 表示棋子位置： 10()1,()1m i i i p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础； 香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。 2.2.1自信息量 –定义2.1 任意随机事件x i 的自信息量定义为： i i i 1(x )log log (x )(x ) I P P ==-
从一个信息与熵的表达式看有序结构中信息的作用 刘琼慧 （北京师范大学管理学院系统科学系） 熵是热力学的一个中心概念。1948年申农第一次将熵概念引入信息论，从此被广泛用于信息的度量。为了对系统组织化状态及其变化进行定量描述，人们正研究并试图建立熵-信息理论。新的宇宙观认为，宇宙由物质（M）、能量（E）和信息（I）三部分构成，信息在宇宙进化中起着决定性作用。人类的发展由低级走向高级，从无序走向有序。人类社会的演化是在非平衡状态下进行的，这个规律是在非平衡态和一定条件下发生的。普里高津（I. Prigogine）就提出过“非平衡是有序之源”[1]。负熵是系统从无序到有序所发生的必然现象。信息对宇宙的发展起着支配作用。量子力学的奠基人薛定谔指出:“一个生命有机体是赖负熵为生的。”[2]非平衡态下系统在一定条件时有演化到有序状态这种趋势，不可逆演化过程中熵会变化。近来人们对非平衡态的有序结构已有一定的认识，但其规律还有待进一步发掘。纵观宇宙的发展，无不与信息的变化相关。因此，有必要从信息的角度对热力学系统、自组织过程及生物系统演化等进行进一步的认识和阐述。 一、波尔兹曼方程与薛定谔方程 热力学第二定律是熵增定律，断言一个孤立系统总是从有序状态走向无序状态。生物进化论描述的是自然界从无序趋向于有序的发展，二者的矛盾困惑着19世纪的人们。20世纪自组织理论为化解这一矛盾打开了缺口。第二定律只是局部地反映了不同运动形式的差异及其变化的自然趋势，对于自然界发展的普遍规律，可能还得从信息角度加以归纳和总结。 玻尔兹曼对熵提出了一种精确的描述：一个系统在保持宏观特性不变的情况下，它所包含的粒子可能具有的所有不同微观状态数就是熵。玻尔兹曼熵的表达式为S=klnW。熵是对无序的度量。这一定律适用条件是系统孤立。这样的系统自发地向熵增大方向演化，越来越无序。而生物系统的演化趋势与热力学第二定律描述的方向相反，是从无序到有序。自然界普遍存在的系统是开放系统，与外界有物质、能量和信息的交流。例如，生物系统在生存中不断吸取负熵，使它的器官和组织越来越精细有序，不断向更高级发展。 薛定谔提出了熵的统计意义，将波尔兹曼方程表示为 S = k ln D，（1） 其中，k为波尔兹曼常数，D是所考虑的体系中无序的定量测量，1/D代表着有序。因此 -S = k ln 1/D，（2） 带有负号的熵在此就代表有序的量度。 二、Stonier以熵作为信息的负指数函数的表达式、含义 Tom Stonier利用薛定谔提出的观点，就信息与熵的联系作了大量探讨[3]，得出一些有意义的结论，便于在此基础上更深入地思考宇宙进化中出现有序的规律。 组织性是秩序的反映，组织性、秩序、低概率、低熵与高信息状态相关；信息与无序反
第二章 信源与信息度量 习题 1. 某大学设置五个学院，每个学院的学生数分别为 学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200 问“某学生王某是外语学院学生”这一消息提供的信息量是多少？ 2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。 3. 字母“e ”在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。 4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。 6. 试求： （1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。 7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。 8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====????=????????，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求： （1） 该消息的自信息量； （2） 该消息平均每个符号携带的信息量。 9. 若每帧电视图像由3×105 个像素组成，且像素是独立变化的。每个像素取128个不同的亮度电平，并设亮度电平等概率出现。 （1） 问每帧图像含有多少信息量？ （2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖） （3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？ 10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关， （1） 问该信源是否是平稳信源？ （2） 计算2()H X ，312()/H X X X 和lim ()N N H X →∞；
第二章信源与信息熵 主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。 重点：离散/连续信源熵和互信息。 难点：离散序列有记忆信源熵。 说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。 作业： 2．1—2．7，2．10，2．12。 课时分配：10课时。 板书及讲解要点： 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础： 无条件概率，条件概率和联合概率的性质和关系： （1） 非负性 0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性 111 1 11 ()1,()1,(/)1, (/)1,()1 n m n i j i j i j i m m n j i i j j j i p x p y p x y p y x p x y ===========∑∑∑∑∑∑ 1 1 ()(),()()n m i j j i j i i j p x y p y p x y p x ====∑∑ （3） 联合概率 ()()(/)()(/)()()()(/)()(/)() i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，， （4） 贝叶斯公式 1 1 () () (/)(/)() () i j i j i j j i n m i j i j i j p x y p x y p x y p y x p x y p x y === = ∑∑， 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。
关于信息的定义 关于信息定义的讨论，钟义信在《信息科学原理》一书中对各种观点进行了归纳分析。到目前为止，围绕信息定义所出现的流行说法已不下百种。以下是一些比较典型、比较有代表性的说法。 (1)信息就是信息，既不是物质也不是能量(Wiener,1948)。 (2)信息是事物之间的差异(Longo,1975)。 (3)信息是集合的变异度(Ashby,1956)。 (4)信息是一种场(Eepr,1971)。 (5)信息是系统的复杂性(张学文等)。 (6)信息不是物质，它是物质状态的映射(张学文等)。 (7)信息是事物相互作用的表现形式。 (8)信息是事物联系的普遍形式。 (9)信息是物质和能量在时间和空间中分布的不均匀性(Eepr,1971)。 (10)信息是物质的普遍属性。 (11)信息是收信者事先所不知道的报导。 (12)信息是用以消除随机不定性的东西(Shannon,1948)。 (13)信息是使概率分布发生变动的东西(Tribes etal, 1971)。 (14)信息是负熵(Brillouin,1956)。 (15)信息是有序性的度量(Wiener,1948)。 (16)信息是系统组织程度的度量(Wiener,1948)。 (17)信息是被反映的差异( УΛ cy Λ，1968)。 (18)信息是被反映的变异度(УΛ cy Λ，1968)。 (19)信息是被反映的物质的属性(刘长林，1985)。 (20)信息是被反映的特殊性(鲁晨光) (21)信息是与控制论系统相联系的一种功能现象(Укра u нчев ,1963)。 (22)信息是作用于人类感觉器官的东西。 (23)信息是选择的自由度(Hartley,1928)。 (24)信息是通信传输的内容(Wiener,1950)。
第二章-信息量和熵习题解 2.1 莫尔斯电报系统中，若采用点长为0.2s ，1划长为0.4s ，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。 解: 平均每个符号长为: 1544.0312.032=?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以，信息速率为444.34 15 9183.0=?比特/秒 2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits ／s)。 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以，信息速率为600010006=?比特/秒 2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a ) 7；(b ) 12。 试问各得到了多少信息量? 解: (a)一对骰子总点数为7的概率是 366 所以，得到的信息量为 585.2)366 (log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以，得到的信息量为 17.536 1 log 2 = 比特 2.4 经过充分洗牌后的一付扑克(含52张牌)，试问： (a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量? 解: (a)任一特定排列的概率为 ! 521, 所以，给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1313 13 135252 13!44A C ?=
所以，得到的信息量为 21.134 log 131352 2=C 比特. 2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点 出现时所给出的信息量，并求掷一次平均得到的信息量。 解:易证每次出现i 点的概率为 21 i ,所以 比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12 =-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列， 且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息? 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽种的位置，它有??? ? ??58种排法， 所以共有???? ??58*??? ? ??37=1960种排法保证没有两棵梧桐树相邻， 因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为 1960log 27720log 22-=3.822 比特 2.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。 (a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息?
熵与信息熵 1.熵 熵的概念最早起源于物理学，一百四十年前，熵的主要用途是用于研究热机（蒸汽机、内燃机..），主要使用宏观形式（克劳修斯形式）即任何可以自发进行的过程中，恒温热Q 和温度T 的比值永远是一个正值（熵增定理它的定义是dQ dS T = ，不可能把热量从低温物体传向高温物体而不引起其它变化。）；熵描述的是一团气体分子的混乱程度，但我们所想要的是他不混乱的程度，也就是这团分子的能量所做功的潜力是多少， 从一百多年前世界进入量子时代以后，研究主要使用熵的微观形式（玻尔兹曼形式） 混乱度又称为热力学几率,用Ω表示，系统在一定温度T 下,其混乱度Ω是一定的。若系统不断吸热,分子在空间分布和能量分布的状况就要不断变化,其微观花样数将不断增大。温度T 时的混乱度是Ω,在温度T 时系统以可逆方式吸热r Q ?,混乱度增加d Ω。 r Q T ?表示系统吸收的热量对单位温度的分摊量,即是系统熵的改变量dS 。d ΩΩ 表示系统增加的混乱度对单位热力学几率的分摊量,称为混乱度增加率。也就是说,在热力学过程中,系统混乱度Ω增减与系统熵S 的增减是同步的,即混乱度Ω越大,熵越大。 公式为；r Q T ?=dS ∝d ΩΩ。加入比例系数后为dS =k d ΩΩ，对函数进行积分，S = Kln Ω+ I ，热力学第三定律说过绝对零度时熵为0，所以I=0,比例系数经理想气体恒温可逆膨胀推理后被定义为玻尔兹曼常数（K=1.3806505 × 10-23 J/K ） 信息熵 Shannon 在通信的数字原理一书中把信息定义为消除不定性的东西。既然如此，那么信息量就可以用被消除的不定性的大小来表示。而这种不定性是由随机性引起的，因此可用概率论方法来描述。这就是Shannon 信息度量方法的基本思想。 离散信源的引入：如果相邻符号的选择不是独立的，其概率取决于之前的字符，则会得到一种更为复杂的结构。在最简单的此种类型中，字符的选择仅取决于它前面的一个字母，而与再之前的字母无关。这种统计结构可以由一组转换概率P i （j ）来描述，该概率是指字母i 之后跟有字母j 的概率。下标i 和j 的取值范围为所有可能出现的符号。如果P i 是状态i 的概率，P i （j ）是由状态i 向状态j 变换的转换概率，则对于平稳过程，显然可以得出，P i 必须满足平衡条件：()j i i i p p p j =∑。 我们能不能定义一个量，用来在某种意义上，度量这样一个过程“生成”多少信息？甚至更进一步，度量它以什么样的速率生成信息？假定有一个可能事件集，这些事件的发生概率为p 1，p 2...这些概率是已知的，但关于将会发生哪个事件，我们也就知道这么多了。我们能否找到一种度量，用来测量在选择事件时涉及多少种“选择”，或者输出中会有多少不确定性？如果存在这样一种度量，比如说H （p 1，p 2...），那要求它具有以下性质是合理的： 1. H 应当关于p 1连续。 2. 如果所有p 1都相等，即p 1=1/n ，则H 应当是n 的单调增函数。如果事件的可能性相等，
· 1 · 第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13=-=-==
第二章信息量和熵 一、离散变量的非平均信息量 1、离散变量的非平均自信息量 集合{X；p(x)}中某个事件x的自信息量定义为： =—log p(x) ——表达式是唯一的； I（x）=log1 () p x 其中，p(x)为事件x发生的概率。 含义：完全确定事件x所必需的信息量； 事件x中固有（包含）的信息量； 事件x出现的先验不确定性大小。 2、联合概率事件的非平均自信息量 联合空间{XY，p(xy)}中任一事件xy，x∈X和y∈Y的联合自信息量定义为： I（xy）=—log p(xy) 同理：I（xyz）=—log p(xyz) 。 3、离散变量的非平均条件信息量 联合空间{XY，p(xy)}中，事件x∈X和y∈Y，事件x在事件y 给定（已知）时的条件信息量定义为： I（x/y）=—log(/) p x y 含义：已知y时事件x所具有的不确定性； 给定y时事件x中还剩余的信息量； 给定y条件下完全确定事件x所必需的信息量。
4、离散事件的非平均互信息量 两个离散事件集{X ，p(x)}和{Y ，p(y)}中，事件y ∈Y 的出现给出关于事件x ∈X 的信息量定义为： I （x ；y ）=log (/)() p x y p x 含义：事件x 和y 之间的互信息量； 从事件y 中可获得关于事件x 的信息量。 5、离散事件的非平均条件互信息量 对于三个离散事件集的联合概率空间{XYZ ，p(xyz )}，给定事件 z Z ∈条件下，事件x X ∈和事件y Y ∈之间的条件互信息量定义为： I （x ；y /z ）=log (/)(/) p x yz p x z =log (/)(/)(/) p xy z p x z p y z 注：I （x ；y /z ）应理解为：I{(x ;y )/z} 含义：已知事件z 的条件下，从事件y 中可获得关于事件x 的信息量。 6、离散事件非平均信息量的性质 ● 非平均自信息量非负； I （x ）=—log p(x)≥0； I （x/y ）=—log (/)p x y ≥0 。 ● 非平均互信息量具有对称性； I （x ；y ）= I （y ；x ）； I （x ；y /z ）= I （y ；x /z ）。 注：非平均互信息量有可能为负值，如何理解？
什么是信息熵 飞翔发表于 2006-3-8 15:22:08 学习过程中，遇到有关信息熵理论，现整理如下： “熵”是德国物理学家克劳修斯在１８５０年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的 那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。 在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。 因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。 对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希 腊文“热运动”一词变来的。 人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。 克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。 举例来讲果我们能看到橡皮筋的分子结构，我们会发现它的结构在拉紧和放松的状态时是不一样的。放松的时候它的分子结构像一团乱麻交织在一起。而在把橡皮筋
拉长的时候，那些如同链状的分子就会沿着拉伸的方向比较整齐地排列起来。于是我们可以看到两种状态：一种是自然，或者自发的状态。在这种状态下结构呈“混乱”或“无序”状。而另一种是在外界的拉力下规则地排列起来的状态。这种“无序” 的状态还可以从分子的扩散中观察到。用一个密封的箱子，中间放一个隔板。在隔板的左边空间注入烟。我们把隔板去掉，左边的烟就会自然 (自发)地向右边扩散，最后均匀地占满整个箱体。这种状态称为“无序”。 在物理学里我们可以用“熵”的概念来描述某一种状态自发变化的方向。比如把有规则排列的状态称为“低熵”而混乱的状态对应于“高熵”。而熵则是无序性的定量量度。热力学第二定律的结论是：“一个孤立系统的熵永不减少。”换句话说，物质世界的状态总是自发地转变成无序；“从低熵”变到“高熵”。比如，当外力去除之后，整齐排列的分子就会自然地向紊乱的状态转变；而箱子左边的烟一定会自发地向右边扩散。这就是著名的“熵增定律”。 信息熵的定义与熵的定义相似，我们说的信息熵一般是指信息论的香农理论。 在日常生活中，信息是指“消息”，“情况”等。看电视、看报纸、看书、打电话、听广播、上网浏览，乃至聊天、开会，人们都获得了“消息”。消息通过“消息传递系统”传递，各种系统可以抽象为通讯系统模型。这一模型并不只限于通信系统，对于生物神经系统，遗传系统，市场的经济信号感知反馈系统，管理系统，都可以运用这个模型。 在消息传递系统中，其传输的是消息；但消息传递过程中，最普通，却容易被忽视的一点是：收信人在收到消息以前是不知道消息的具体内容的。消息的传递过程，对收信人来说，是一个从不知到知的过程，或者说是一个从不确定到确定的过程。 从通信过程来看，收信者的所谓“不知”就是不知道发送端将发送描述何种运动状态的消息。例如，看天气预报前，不清楚天气的将出现何种状态；看天气预报后，这种不确定性就大大缩小了。所以通信过程是一种从不确定到确定的过程。不确定性消除了，收信者就获得了信息。所以香农认为，信息是不定性的减少或消除。即 I = S(Q/X)-S(Q/X‘) I代表信息，Q 代表对某件事的疑问，S 代表不定性，X 为收到消息前关于Q的知识，X‘ 为收到消息后关于Q 的知识。
第二章: 2、1 试问四进制、八进制脉冲所含信息量就是二进制脉冲得多少倍？ 解: 四进制脉冲可以表示4个不同得消息,例如:{0, 1, 2, 3} 八进制脉冲可以表示8个不同得消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同得消息,例如:{0, 1} 假设每个消息得发出都就是等概率得,则: 四进制脉冲得平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲得平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲得平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以: 四进制、八进制脉冲所含信息量分别就是二进制脉冲信息量得2倍与3倍。 2、2 居住某地区得女孩子有25%就是大学生,在女大学生中有75%就是身高160厘米以上得,而女孩子中身高160厘米以上得占总数得一半。假如我们得知“身高160厘米以上得某女孩就是大学生”得消息,问获得多少信息量？ 解: 设随机变量X 代表女孩子学历 X x 1(就是大学生) x 2(不就是大学生) P(X) 0、25 0、75 设随机变量Y 代表女孩子身高 Y y 1(身高>160cm) y 2(身高<160cm) P(Y) 0、5 0、5 已知:在女大学生中有75%就是身高160厘米以上得 即:p(y 1/ x 1) = 0、75 求:身高160厘米以上得某女孩就是大学生得信息量 即:bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ?? ??-=-= 2、3 一副充分洗乱了得牌(含52张牌),试问 (1) 任一特定排列所给出得信息量就是多少？ (2) 若从中抽取13张牌,所给出得点数都不相同能得到多少信息量？ 解: (1) 52张牌共有52！种排列方式,假设每种排列方式出现就是等概率得则所给出得信息量就是: (2) 52张牌共有4种花色、13种点数,抽取13张点数不同得牌得概率如下: 2、4 设离散无记忆信源,其发出得信息为(23211223210),求 (1) 此消息得自信息量就是多少？ (2) 此消息中平均每符号携带得信息量就是多少？ 解: (1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出得概率就是: 此消息得信息量就是: (2) 此消息中平均每符号携带得信息量就是: 2、5 从大量统计资料知道,男性中红绿色盲得发病率为7%,女性发病率为0、5%,如果您问一位男士:“您就是否就是色盲？”她得回答可能就是“就是”,可能就是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量？如果问一位女士,则答案中含有得平均自信息量就是多少？
第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52牌共有4种花色、13种点数，抽取13点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-==