第二章： 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 《 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) ( 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) " 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 》 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
· 1 · 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-==
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11= 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
第二章 信源与信息度量 习题 1. 某大学设置五个学院，每个学院的学生数分别为 学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200 问“某学生王某是外语学院学生”这一消息提供的信息量是多少？ 2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。 3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。 4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。 6. 试求： （1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。 7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。 8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====????=????? ???，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求： （1） 该消息的自信息量； （2） 该消息平均每个符号携带的信息量。 9. 若每帧电视图像由3×105 个像素组成，且像素是独立变化的。每个像素取128个不同的亮度电平，并设亮度电平等概率出现。
第2章离散信源与信息熵 信号 信号+干扰 消息 干扰 消息 信源 编码器 信道 译码器 信宿 噪声源 通信系统模型 信息
2.1 信源的分类和描述 信源是信息的发源地，可以是人、生物、机器或其他事物。信源的输出是包含信息的消息。消息的形式可以是离散的或连续的。 信源输出为连续信号形式（如语音），可用连续随机变量描述。 连续信源←→模拟通信系统 信源输出是离散的消息符号（如书信），可用离散随机变量描述。 离散信源←→数字通信系统
离散信源…X i…X j… 离散无记忆信源：输出符号X i X j 之间相互无影响； 离散有记忆信源：输出符号X i X j 之间彼此依存。 3 离散信源 无记忆 有记忆发出单个符号发出符号序列马尔可夫信源 非马尔可夫信源
y j 将一粒棋子随意地放 在棋盘中的某列； 棋子放置的位置是一 个随机事件； 可看做一个发出单个 符号的离散信源。 x i
1212,,...,(),(),...,()m m x x x X P p x p x p x ????=???????? 就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。由离散随机变量X 表示棋子位置： 10()1,()1m i i i p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础； 香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。 2.2.1自信息量 –定义2.1 任意随机事件x i 的自信息量定义为： i i i 1(x )log log (x )(x ) I P P ==-
第二章信源与信息熵 主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。 重点：离散/连续信源熵和互信息。 难点：离散序列有记忆信源熵。 说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。 作业： 2．1—2．7，2．10，2．12。 课时分配：10课时。 板书及讲解要点： 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础： 无条件概率，条件概率和联合概率的性质和关系： （1） 非负性 0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性 111 1 11 ()1,()1,(/)1, (/)1,()1 n m n i j i j i j i m m n j i i j j j i p x p y p x y p y x p x y ===========∑∑∑∑∑∑ 1 1 ()(),()()n m i j j i j i i j p x y p y p x y p x ====∑∑ （3） 联合概率 ()()(/)()(/)()()()(/)()(/)() i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，， （4） 贝叶斯公式 1 1 () () (/)(/)() () i j i j i j j i n m i j i j i j p x y p x y p x y p y x p x y p x y === = ∑∑， 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。
· 1 · 第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13=-=-==
试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(= i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： (a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40= (b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413 。所以，抽取13张点数不同的牌的概率： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 13 52 13 =-=-== 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 已知：在女大学生中有75%是身高160厘米以上的
第二章: 2、1 试问四进制、八进制脉冲所含信息量就是二进制脉冲得多少倍？ 解: 四进制脉冲可以表示4个不同得消息,例如:{0, 1, 2, 3} 八进制脉冲可以表示8个不同得消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同得消息,例如:{0, 1} 假设每个消息得发出都就是等概率得,则: 四进制脉冲得平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲得平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲得平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以: 四进制、八进制脉冲所含信息量分别就是二进制脉冲信息量得2倍与3倍。 2、2 居住某地区得女孩子有25%就是大学生,在女大学生中有75%就是身高160厘米以上得,而女孩子中身高160厘米以上得占总数得一半。假如我们得知“身高160厘米以上得某女孩就是大学生”得消息,问获得多少信息量？ 解: 设随机变量X 代表女孩子学历 X x 1(就是大学生) x 2(不就是大学生) P(X) 0、25 0、75 设随机变量Y 代表女孩子身高 Y y 1(身高>160cm) y 2(身高<160cm) P(Y) 0、5 0、5 已知:在女大学生中有75%就是身高160厘米以上得 即:p(y 1/ x 1) = 0、75 求:身高160厘米以上得某女孩就是大学生得信息量 即:bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ?? ??-=-= 2、3 一副充分洗乱了得牌(含52张牌),试问 (1) 任一特定排列所给出得信息量就是多少？ (2) 若从中抽取13张牌,所给出得点数都不相同能得到多少信息量？ 解: (1) 52张牌共有52！种排列方式,假设每种排列方式出现就是等概率得则所给出得信息量就是: (2) 52张牌共有4种花色、13种点数,抽取13张点数不同得牌得概率如下: 2、4 设离散无记忆信源,其发出得信息为(23211223210),求 (1) 此消息得自信息量就是多少？ (2) 此消息中平均每符号携带得信息量就是多少？ 解: (1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出得概率就是: 此消息得信息量就是: (2) 此消息中平均每符号携带得信息量就是: 2、5 从大量统计资料知道,男性中红绿色盲得发病率为7%,女性发病率为0、5%,如果您问一位男士:“您就是否就是色盲？”她得回答可能就是“就是”,可能就是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量？如果问一位女士,则答案中含有得平均自信息量就是多少？
第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52牌共有4种花色、13种点数，抽取13点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-==