第二章 信息的度量

信息论第2讲北京航空航天大学201教研室陈杰buaa201gcss@ PWD:buaaf6152第一章小结1.信息论：经典信息论工程信息论广义信息论2.信息的概念：通俗信息概念广义信息概念概率信息概念3.信息：抽象概念，研究对象，含于消息消息：比较具体，非物理量，信息的载荷者信号：最具体，表示消息的物理量，可测量、可显示、可描述，消息的载荷者4.通信系统的模型：第一章小结（续）通信系统干扰源窃听者模型32.5 连续随机变量的互信息和相对熵2.5.1 连续随机变量的互信息⎯定义⎯熵的性质2.5.2 连续随机变量的相对熵⎯连续随机变量的自信息量⎯相对熵、联合熵、条件熵⎯性质45•连续随机变量的互信息连续随机变量集XY ，事件x , p (x ) ≥0和事件y , p (y ) ≥0之间的互信息定义为00()() lim log ()()x y p x y p y x y p x xp y y Δ→Δ→ΔΔ=ΔΔ00()(;)lim log ()def x y p x y x I x y p x xΔ→Δ→Δ=Δ() log ()()p xy p x p y =6•连续随机变量的平均互信息连续随机变量集合X 和Y 之间的平均互信息量(Mutual Information)定义为()(;)()log ()()def p xy I X Y p xy dxdy p x p y ∞−∞=∫∫7•连续随机变量的平均互信息的性质（１）非负性当且仅当连续随机变量X 和Y 统计独立时等号成立。

（２）对称性(;)0I X Y ≥(;)(;)I X Y I Y X =8•连续随机变量令随机变量X 的取值区间是(a ,b )，a <b ，把它分成n 段，等间隔，那么X 处于第i 个小区间的概率为事件x i <x i +Δ的自信息量为b a n −Δ=()i i p p x Δ=⋅Δlog log[()]i i p p x −Δ=−⋅Δ9•连续r.vX 的平均自信息量为•当n →∞,Δi →0时，定义绝对熵()()log[()]i i iH X p x p x Δ=−⋅Δ⋅⋅Δ∑()H X Δ→∞0()log H X Δ＝-()[log ()]()[log ]i i i i ip x p x p x =−⋅⋅Δ−⋅Δ⋅Δ∑∑10•连续随机变量的相对熵(Differential Entropy)称为连续随机变量的相对熵，或微分熵，简称为熵。

信息论——信息的度量信息的度量 信息具可度量性，其⼤⼩取决于信息所消除的不确定性 举例如下： 消息A：中国⼥⼦乒乓球队夺取亚运会冠军。

消息B：中国男⼦⾜球队夺取世界杯赛冠军。

从事件的描述上来看，其主题内容⼤致相同，那么我们是否可以认为事件A和事件B具有相同的信息量呢？显然是不⾏的。

根据以往经验，我们可以认为事件A是⼀个⼤概率事件，所以事件A的不确定性⽐较⼩，故当事件A发⽣时，我们从这个消息中得到的信息（消除的不确定度）很⼩。

同理对事件B⽽⾔，由于是个极⼩概率事件，我们得到的信息很⼤。

由此我们可以推断：消息B的信息量⼤于消息A。

对于⼀个事件X，我们假设其不确定性为 I(p1) ，其中 p1 是事件X的先验概率。

对应于事件X的消息X所消除的不确定性为 I(p2)。

那么在我们获取了消息X之后，事件X的不确定性就变为了 I(p1)-I(p2) ，由此我们可以知道当我们对⼀个事物的信息获取的越多，其不确定性就越⼩，当其不确定性变为0时，该事件就被确定下来了，我们对其⽆法再获取更多的信息量了。

直观定义： 收到某消息获取的信息量=不确定性减少量=收到该消息前后某事件的不确定性差信息量的数学表⽰ 理论依据（信息量具有的性质）： 1.⾮负性对于⼀个事件⽽⾔，当事件被完全确定时，即我们⽆法获取更多信息时，其信息量为0，因此⽆法⽐0更⼩。

2.单调性是先验概率的单调递减函数，即某事件的发⽣概率越⼤，其信息量就越⼩。

3.对于事件A 若 P(a)=0 则 I(Pa)=+∞ 若 P(a)=1 则 I(Pa)=0。

4.两个独⽴事件的联合信息量应等于它们分别的信息量之和。

I(xi)具有两个含义： 1.事件发⽣前，表⽰该事件发⽣的不确定性。

2.事件发⽣后，表⽰该事件所提供的信息量。

术语解释 先验概率（prior probability）是指根据以往经验和分析得到的概率。

通信原理知识要点第一章概论1 、通信的目的2 、通信系统的基本构成●模拟信号、模拟通信系统、数字信号、数字通信系统●两类通信系统的特点、区别、基本构成、每个环节的作用3 、通信方式的分类4 、频率和波长的换算5 、通信系统性能的度量6 、传码速率、频带利用率、误码率的计算第二章信息论基础1 、信息的定义2 、离散信源信息量的计算（平均信息量、总信息量）3 、传信率的计算4 、离散信道的信道容量5 、连续信道的信道容量：掌握香农信道容量公式第三章信道与噪声了解信道的一般特性第四章模拟调制技术1 、基带信号、频带信号、调制、解调2 、模拟调制的分类、线性调制的分类3 、 AM 信号的解调方法、每个环节的作用第五章信源编码技术1 、低通、带通信号的采样定理（例 5 － 1 、例 5 －2 ）2 、脉冲振幅调制3 、量化：●均匀量化：量化电平数、量化间隔、量化误差、量化信噪比●非均匀量化： 15 折线 u 律、 13 折线 A 律4 、 13 折线 A 律 PCM 编码（过载电压问题－ 2048 份）5 、 PCM 一次群帧结构（ P106 ）6 、 PCM 系统性能分析7 、增量调制 DM 、增量脉码调制 DPCM ：概念、特点、与 PCM 的比较第六章数字基带信号传输1 、熟悉数字基带信号的常用波形2 、掌握数字基带信号的常用码型3 、无码间干扰的时域条件、频域条件（奈奎斯特第一准则）4 、怎样求“等效”的理想低通（）5 、眼图分析（示波器的扫描周期）6 、均衡滤波器第七章数字调制技术1 、 2ASK 、 2FSK 、 2PSK 、 2DPSK 的典型波形图2 、上述调制技术的性能比较3 、 MASK 、 MFSK 、 MPSK 、 MDPSK 、 QPSK 、 QDPSK 、 MSK （ h=0.5 ）、APK 的含义、特点4 、数字调制技术的改进措施第七章复用与多址技术1 、复用与多址技术的基本概念、分类、特点、目的（区别）2 、同步技术的分类、应用第九章差错控制技术1 、常用的差错控制方式（ ARQ 、 FEC 、 HEC ）、优缺点2 、基本概念3 、最小码距与检错纠错能力的关系4 、常用的简单差错控制编码（概念、特点、编写）5 、线性分组码：基本概念、特点6 、汉明码的特点6 、循环码●概念●码字的多项式描述、模运算、循环多项式的模运算●循环码的生成多项式●根据生成多项式求循环码的：码字、（典型）生成矩阵、监督多项式、（典型）监督矩阵较大题目的范围1 、信息量的度量2 、信道容量的计算3 、 13 折线 A 律 PCM 编码4 、均衡效果的计算5 、数字调制波形的绘制6 、 HDB3 编码、解码7 、循环码重点Part I 基础知识1. 通信系统的组成框图 , 数字 / 模拟通信系统的组成框图。

第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。

设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。

扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。

13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。

所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。

（2）“两个3同时出现”这事件的自信息量。

（3）两个点数的各种组合（无序对）的熵。

（4）两个点数之和（即2，3，…，12构成的子集）的熵。

（5）两个点数中至少有一个是1的自信息。

解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。

（1） 设“2和6同时出现”这事件为A 。

在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。

信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。

信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。

而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。

本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。

第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。

求当p=0.5时，事件的信息量。

答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。

习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。

答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。

1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。

答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。

习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。

答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。

第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。

答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。

习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。

答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。

题型：1、名词解释5*4‘2、填空20*1‘3、单选10*1‘4、简答3*10‘5、使用题：20‘（业务流程图或者数据流程图）第一章一、信息：1、信息、物质和能源是人类社会发展的三大资源2、信息的概念：信息是关于客观事实的可通讯的知识。

①、信息是客观世界各种事物特征的反映；②信息是可以通讯的。

③信息形成知识信息是任何一个系统的组织性、复杂性的度量，是有序化程度的标志。

3、信息的特征：①、事实性：事实是信息的中心价值，不符合事实的信息不仅没有价值，而且可能价值为负。

这是信息的最基本属性。

②、时效性：信息的时效性是指从信息产生到利用的时间间隔。

时间间隔越短，时效性越强。

使用信息越及时，信息使用效率越高。

③、不完全性：客观事实的信息很难全部得到。

人们对事物的认识也不可能十分全面。

在信息爆炸的时代，我们没有能力也没有必要收集和存储所有信息。

只要我们明确问题，对所需要的信息进行分析判断筛选，才能获取有用信息。

④、等级性：管理是分等级的。

不同等级的管理者职责不同、决策不同、使用的信息不同。

⑤、变换性：信息的变换性表现为同一信息可以按照使用者的要求用不同的载体来载荷、表达、相互转换。

这一特征使信息的表现形式更加多样，有利于人们对信息的处理和利用⑥、价值性：管理信息是经过加工并对生产经营活动产生影响的数据，是一种资源，因而是有价值的。

信息的使用价值必需经过转换才能得到。

鉴于信息寿命衰老很快，转换必须及时。

数据和信息的区别：数据（又称资料）是对客观事物的性质、形态、数量等特征的记载，可以用符号表示。

如数字、字符、文字、声音、图形等。

信息是经过选择加工处理后对客观世界产生影响的数据，信息可以使人们对事物有更深刻的认识。

如果将数据比喻成原料的话，信息就是产品。

4、①、信息的度量：信息量的多少取决于信息内容消除人们对事物认识上的不确定程度。

信息量越大，消除不确定程度就越大。

当得到资料后，人们就可以消除认识上的不确定性。

第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。

从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。

2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。

1.3信息的度量及性能指标信息：消息中包含的有效内容
度量信息量的原则：
1. 能度量任何消息，并且与消息的种类⽆关。

2. 度量⽅法应该与消息的重要程度⽆关。

3. 消息中所含信息量与消息内容的不确定性有关。

消息所表达的事件越不可能发⽣，信息量越⼤。

度量信息量的⽅法：
事件的不确定程度可以⽤其出现的概率来描述。

消息出现的概率越⼩，则消息中包含的信息量就越⼤。

信息量的定义：
在⼯程应⽤中，习惯将⼀个⼆进制码元称作1⽐特。

⽤熵的概念：
连续消息的信息量：
通信系统主要性能指标：
模拟通信系统
数字通信系统。

信息量的度量如何计算公式信息量的度量是指在一定的信息传输过程中，信息的多少和质量的度量。

在信息论中，我们通常使用熵来度量信息的多少，熵越大表示信息量越大。

下面我们将介绍信息量的度量以及相关的计算公式。

在信息论中，熵是度量信息量的一个重要概念。

熵的计算公式为：\[H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(H(X)\)表示随机变量\(X\)的熵，\(p(x_i)\)表示随机变量\(X\)取值为\(x_i\)的概率。

通过计算熵，我们可以得到随机变量\(X\)的信息量。

在实际应用中，我们经常使用二进制编码来表示信息。

在这种情况下，我们可以使用香农编码来计算信息量。

香农编码是一种使用变长编码来表示信息的编码方式，通过根据信息的概率分布来确定每个信息的编码长度，从而实现信息的高效表示。

香农编码的计算公式为：\[L = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(L\)表示信息的平均编码长度。

通过计算香农编码，我们可以得到信息的平均编码长度，从而可以评估信息的压缩效果和传输效率。

除了熵和香农编码，我们还可以使用信息熵来度量信息的多少。

信息熵是一种用于度量信息量的概念，它是对信息量的期望值。

信息熵的计算公式为：\[H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(H(X)\)表示随机变量\(X\)的信息熵，\(p(x_i)\)表示随机变量\(X\)取值为\(x_i\)的概率。

通过计算信息熵，我们可以得到随机变量\(X\)的平均信息量。

在实际应用中，我们可以使用信息熵来评估信息系统的复杂度和传输效率。

通过计算信息熵，我们可以得到系统中信息的平均复杂度，从而可以评估系统的性能和稳定性。

综上所述，信息量的度量是信息论中的重要概念，我们可以使用熵、香农编码和信息熵来度量信息的多少。