信息论第2章信息的度量

信息论研究的主要内容
信息论是一门研究信息传输、存储、处理等问题的学科，其主要内容包括以下几个方面：
1. 信息的度量和表示：信息的度量可以通过熵、互信息等指标来实现，而信息的表示则可以通过编码的方式来实现。

2. 信道编码和解码：信道编码和解码是信息传输的核心环节，其中编码方法包括香农编码、哈夫曼编码等，而解码方法则包括维特比算法、前向后向算法等。

3. 误差控制编码：误差控制编码是一种能够在数据传输过程中自动纠错的编码方式，其中最常用的是海明码、卷积码等。

4. 压缩编码：压缩编码是一种能够将数据在保持质量不变的情况下减少数据存储空间的编码方式，其中最常用的是无损压缩算法和有损压缩算法。

5. 信息论在通信系统中的应用：信息论在通信系统中的应用包括调制、多路复用、功率控制、网络协议等方面，它为通信系统的设计和性能优化提供了基础理论支持。

总之，信息论研究的主要内容涵盖了信息的度量、信道编码和解码、误差控制编码、压缩编码以及信息论在通信系统中的应用等方面，为信息传输和处理提供了基础理论支持。

- 1 -。

信息论——信息的度量信息的度量 信息具可度量性，其⼤⼩取决于信息所消除的不确定性 举例如下： 消息A：中国⼥⼦乒乓球队夺取亚运会冠军。

消息B：中国男⼦⾜球队夺取世界杯赛冠军。

从事件的描述上来看，其主题内容⼤致相同，那么我们是否可以认为事件A和事件B具有相同的信息量呢？显然是不⾏的。

根据以往经验，我们可以认为事件A是⼀个⼤概率事件，所以事件A的不确定性⽐较⼩，故当事件A发⽣时，我们从这个消息中得到的信息（消除的不确定度）很⼩。

同理对事件B⽽⾔，由于是个极⼩概率事件，我们得到的信息很⼤。

由此我们可以推断：消息B的信息量⼤于消息A。

对于⼀个事件X，我们假设其不确定性为 I(p1) ，其中 p1 是事件X的先验概率。

对应于事件X的消息X所消除的不确定性为 I(p2)。

那么在我们获取了消息X之后，事件X的不确定性就变为了 I(p1)-I(p2) ，由此我们可以知道当我们对⼀个事物的信息获取的越多，其不确定性就越⼩，当其不确定性变为0时，该事件就被确定下来了，我们对其⽆法再获取更多的信息量了。

直观定义： 收到某消息获取的信息量=不确定性减少量=收到该消息前后某事件的不确定性差信息量的数学表⽰ 理论依据（信息量具有的性质）： 1.⾮负性对于⼀个事件⽽⾔，当事件被完全确定时，即我们⽆法获取更多信息时，其信息量为0，因此⽆法⽐0更⼩。

2.单调性是先验概率的单调递减函数，即某事件的发⽣概率越⼤，其信息量就越⼩。

3.对于事件A 若 P(a)=0 则 I(Pa)=+∞ 若 P(a)=1 则 I(Pa)=0。

4.两个独⽴事件的联合信息量应等于它们分别的信息量之和。

I(xi)具有两个含义： 1.事件发⽣前，表⽰该事件发⽣的不确定性。

2.事件发⽣后，表⽰该事件所提供的信息量。

术语解释 先验概率（prior probability）是指根据以往经验和分析得到的概率。

第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。

从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。

2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。

信息量的度量如何计算公式信息量的度量是指在一定的信息传输过程中，信息的多少和质量的度量。

在信息论中，我们通常使用熵来度量信息的多少，熵越大表示信息量越大。

下面我们将介绍信息量的度量以及相关的计算公式。

在信息论中，熵是度量信息量的一个重要概念。

熵的计算公式为：\[H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(H(X)\)表示随机变量\(X\)的熵，\(p(x_i)\)表示随机变量\(X\)取值为\(x_i\)的概率。

通过计算熵，我们可以得到随机变量\(X\)的信息量。

在实际应用中，我们经常使用二进制编码来表示信息。

在这种情况下，我们可以使用香农编码来计算信息量。

香农编码是一种使用变长编码来表示信息的编码方式，通过根据信息的概率分布来确定每个信息的编码长度，从而实现信息的高效表示。

香农编码的计算公式为：\[L = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(L\)表示信息的平均编码长度。

通过计算香农编码，我们可以得到信息的平均编码长度，从而可以评估信息的压缩效果和传输效率。

除了熵和香农编码，我们还可以使用信息熵来度量信息的多少。

信息熵是一种用于度量信息量的概念，它是对信息量的期望值。

信息熵的计算公式为：\[H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(H(X)\)表示随机变量\(X\)的信息熵，\(p(x_i)\)表示随机变量\(X\)取值为\(x_i\)的概率。

通过计算信息熵，我们可以得到随机变量\(X\)的平均信息量。

在实际应用中，我们可以使用信息熵来评估信息系统的复杂度和传输效率。

通过计算信息熵，我们可以得到系统中信息的平均复杂度，从而可以评估系统的性能和稳定性。

综上所述，信息量的度量是信息论中的重要概念，我们可以使用熵、香农编码和信息熵来度量信息的多少。

1第2章 信息的度量习 题2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。

设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。

假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)2平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。

信息论度量方法
信息论中，信息的度量方法有多种，以下是几种主要的度量方式：
1. 信息量：信息量可以用比特（bit）来度量，比特是信息论中最基本的单位，表示二进制系统中的一个选择。

比特的数量表示传递或存储的信息量
的大小。

2. 信息熵：信息熵是信息理论中度量信息不确定性的概念。

熵的值越大，
表示信息的不确定性越高。

熵可以用来度量某个事件或数据集中的信息量。

3. 信噪比：信噪比是度量信号中有用信息与噪声比例的指标。

它可以用来
衡量信号中噪声对有用信息的影响程度。

4. 信息速率：信息速率是单位时间内传输或处理的信息量。

常用的单位是
比特每秒（bps）或字节每秒（Bps）。

5. 信息传输效率：信息传输效率是指在给定的带宽或资源条件下，能够传输的有效信息量。

它是通过传输速率和信道容量的比值来度量的。

以上信息仅供参考，如有需要，建议查阅相关书籍或咨询专业人士。