信息论简答题总结

一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。

2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。

3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。

4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。

5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。

6. ______________________________________________________ 费诺编码比较适合于的信源。

7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。

&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。

9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。

二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。

2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。

1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成 客观信息和主观信息 。

人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

信息的 可度量性 是建立信息论的基础。

统计度量 是信息度量最常用的方法。

熵 是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

简答题：1.根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？答：3类，分别是：信源编码，信道编码，和加密编码。

2.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z 组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为:表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息:表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

4.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

5.熵的性质什么？答：非负性，对称性，确定性，香农辅助定理，最大熵定理。

6.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。

信道容量是一个信道所能达到的最大信息传输率。

信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U 型凸函数。

7.信道疑义度的概念和物理含义？答：概念：)|(log )()|(j i j i j i b a p b a p Y X H ∑∑-=物理含义：输出端收到全部输出符号Y 以后，对输入X 尚存在的平均不确定程度。

8.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz ，信噪比为30dB 时求信道容量。

答：香农公式为 ，它是高斯加性白噪声信道在单位时 间内的信道容量，其值取决于信噪比和带宽。

由得，则9.解释无失真变长信源编码定理? 答：只要，当N 足够长时，一定存在一种无失真编码。

● 消息中包含信息，消息是信息的载体。

信息：信息是对事物运动状态或存在方式的不确定性的描述。

● 通信的过程就是消除不确定性的过程。

● 信息与概率的关系：● 事件发生的概率越大，该事件包含的信息量越小；● 如果一个事件发生的概率为1，那么它包含的信息量为0；●● 某个消息的不确定性（含有的信息量）可以表示为： ● 信源的平均不确定性：● 信源发出的消息的统计特性离散信源、连续信源、波形信源 有记忆信源和无记忆信源 平稳信源和非平稳信源● 编码器的功能：将消息变成适合信道传输的信号 ● 编码器包括：（1）信源编码器（2）信道编码器（3）调制器 ● 信源编码器：去除信源消息中的冗余度，提高传输的有效性● 信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。

● 调制器：功能：将信道编码后的符号变成适合信道传输的信号 目的： 提高传输效率 ● 信道的统计特性无噪声信道、有噪声信道离散信道、连续信道、波形信道 有记忆信道和无记忆信道恒参信道（平稳信道）和随参信道（非平稳信道） 单用户信道和多用户信道● 信道传输信息的最高速率：信道容量● 译码器的功能：从接收到的信号中恢复消息。

包括：（1）解调器（2）信道译码器（3）信源译码器 ● 提高有效性： （数据压缩）信源编码：无失真信源编码和限失真信源编码 ● 提高可靠性： （可靠传输） 信道编码● 香农第一定理： 如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。

∑=-=qi i i x p x p X H 1)(log )()(● 香农第二定理：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。

● 香农第三定理：对于任意的失真度 ，只要码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率 ，而码的平均失真度 。

信息论复习要点1. 非奇异码：若一个码子中各码子都不相同，则称非奇异码，否则称为奇异码；2. 唯一可以码：若任何有限长信源序列都能译成唯一的信源消息序列，则称为唯一可译码；3. 二元最优码：就某一信源，存在最优的二进制码，其中至少有两个最长的码子有相同长度且仅最后一个码位有别。

4. AWGN 信道的容量：一个加性高斯白噪声（AWGN ）信道的噪声功率谱为N 0/2,输入信号平均功率为P ，信道带宽为W ，那么信道每单位时间的容量为：0log 1P C W N W ⎛⎫=+ ⎪⎝⎭（容量单位为比特/秒）5. 对于输入平均功率受限的加性高斯噪声信道，当传输速率R<=C 时，总可以找到一种编码方式，使得差错率任意小；反之，找不到使译码错误概率任意小的编码。

6. 信息率失真理论是有损数据压缩的理论基础，该理论的核心是在保真度准则下的信源编码定理，即香农第三定理。

7. 限失真信源编码定理：()D R R D >→≤存在平均失真的信源编码8. 限失真信源信道编码定理：()D C R D >→≤存在平均失真的信源信道编码9. 和信道及其容量：若一个信道分为若干子信道，且各子信道输入之间互不相交，输出之间也互不相交，信道总的输出与输入集合分为各子信道输出与输入之并集，而且每次传输只能用某个子信道，则称此信道为和信道。

和信道容量：21log 2i NC i C ==∑其中，i C 为每个子信道的容量，第i 个子信道的使用概率为：1222ii iC C Ci NC i r -===∑达到容量时的输入概率为各子信道达到容量时的输入概率乘以i r ，N 为子信道的个数。

10. 各种信息的概率公式：自信息：()()log I x p x =-；联合自信息：()()log I xy p xy =-；条件自信息：()()|log |I x y p x y =-三者的关系：()()()()()||I xy I x I y x I y I x y =+=+； 互信息：()()()()()|,loglog|p x p x y I x y p x y p x =-=； 互信息与自信息和条件自信息的关系：()()(),|I x y I x I x y =-；11. 最佳判决与译码准则： MAP 准则：（输入不等概）（1）信道转移概率矩阵乘以信道输入符号概率得到联合概率矩阵； （2）联合概率矩阵每一列中找到一个最大的概率对应的输入符号就是译码； （3）正确概率是所有译码的概率和，错误概率是1与正确概率的差； ML 准则：（输入等概）（1）信道转移概率矩阵中最大的概率对应的输入符号作为译码输出； （2）正确概率是联合概率分布中译码概率的和，错误概率是1与之的差； 无记忆二元对称信道，最大似然准则等价于最小汉明距离准则；12. 并联高斯信道的容量，能量分布和输入概率分布：（输入均值为0） （1） 并联独立高斯信道：利用注水定理对能量进行分配，计算信道容量，达到容量时，两个信道的输入是独立的，所以输入的概率密度为：()2212122212,22x x p x x σσ⎛⎫=-- ⎪⎝⎭（2） 关联相关高斯信道：将噪声自协方差矩阵分解（如下公式所示），找出等价矩阵，利用注水定理计算信道容量，得到能量分配和输入概率密度公式；41501110122211⎛⎫⎫⎛⎫= ⎪⎪ ⎝⎭⎭⎝⎝ （3） 反推得到输入概率的协方差矩阵，进而得到输入概率的密度公式； （4） 对于独立并联高斯信道，达到容量时各子信道输入是独立的； （5） 对于相关并联高斯信道，达到容量时各子信道输入是相关的； （6） 在总噪声和输入平均能量约束都相同的条件下，相关并联高斯信道的容量大于独立并联高斯信道容量。

信息论知识点总结信息论是一门研究信息传递和处理的科学，主要涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。

以下是信息论的一些重要知识点：1. 信息量度：信息量是对信息的度量，用于衡量信息的多少。

信息的大小与随机事件的概率有关，熵是衡量随机变量分布的混乱程度，即随机分布各事件发生的信息量的期望值。

2. 信道容量：信道容量是描述信道传输信息能力的指标，表示信道在每秒内所能传输的最大信息量。

对于有噪声的信道，需要通过编码技术来达到信道容量。

3. 条件熵：条件熵是在给定某个条件下的熵，用于衡量在已知某个条件的情况下，随机变量的不确定性。

4. 相对熵（KL散度）：相对熵是衡量两个概率分布之间的差异，也称为KL 散度。

如果两个分布相同，相对熵为0。

5. 信息传输速率：信息传输速率是指单位时间内传输的信息量，是评价通信系统性能的重要参数。

6. 干扰对信息传输的影响：在信息传输过程中，各种干扰因素会对信息传输产生影响，如噪声、失真、衰减等。

为了提高信息传输的可靠性和有效性，需要采取抗干扰措施。

7. 信息压缩：信息压缩是减少数据存储空间和提高数据传输效率的一种技术。

常见的压缩算法有Huffman编码、LZ77、LZ78等。

8. 纠错编码：纠错编码是一种用于检测和纠正错误的技术，广泛应用于通信和存储领域。

常见的纠错编码有奇偶校验、CRC等。

9. 加密编码：加密编码是一种保护信息安全的技术，通过对数据进行加密处理，防止未经授权的访问和泄露。

常见的加密编码有AES、RSA等。

以上是信息论的一些重要知识点，希望对您有所帮助。

信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。

2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。

在信息论中，熵越高，信息的不确定性越大。

3. 请简述信源编码定理。

答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。

4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。

它是信道的最大信息传输率，通常用比特每秒（bps）来表示。

5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。

6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。

7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。

线性码通常可以用生成矩阵和校验矩阵来表示。

8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。

卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。

9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。

10. 请解释什么是信道编码的译码算法。

答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。

常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。

这些算法旨在最小化译码错误的概率。

信息论知识点信息论是研究信息传递和处理的数学理论。

它由美国数学家克劳德·香农于1948年提出，是一门涉及通信、密码学、数据压缩等领域的重要学科。

本文将围绕信息论的几个核心概念展开讨论。

信息论研究的一个重要概念是信息熵。

信息熵是用来度量一个随机变量的不确定性的指标。

在信息论中，熵被定义为随机变量的不确定性的平均值。

熵越大，表示随机变量的不确定性越高，也就是信息量越大。

例如，一个硬币的正反面出现的概率相等，那么它的熵是最大的，因为我们无法确定它会出现哪一面。

信息熵的概念也可以用来分析数据压缩。

在数据压缩中，我们希望通过压缩算法减少数据的存储空间或传输带宽。

根据信息熵的定义，我们可以发现，如果一个数据源的熵越高，那么它的压缩效率就越低。

因为高熵数据源中的信息量较大，我们需要更多的编码来表示其中的不确定性。

相反，如果一个数据源的熵较低，那么它的压缩效率就会更高。

除了信息熵，信息论还研究了信道容量的概念。

信道容量是指在给定信道条件下，能够可靠传输的最大数据率。

这个概念对于通信系统的设计和优化非常重要。

根据香农的定理，信道容量与信噪比有关。

信噪比越高，信道容量就越大。

因此，提高信道容量的方法之一是增加信噪比，例如通过改进调制方式、使用更好的编码方案等。

信息论还研究了误差纠正编码的原理和方法。

在数字通信中，由于信道噪声或传输错误，接收到的信号可能会产生误码。

误差纠正编码通过在发送端添加冗余信息，使得接收端可以检测和纠正部分错误，从而提高通信系统的可靠性。

常见的误差纠正编码方法包括海明码、卷积码等。

信息论还涉及到密码学领域。

信息论提供了一种理论基础，用于分析和设计密码系统的安全性。

基于信息论的密码学研究主要关注信息论中的信息泄露和信息隐藏问题。

信息泄露是指在密码系统中，攻击者通过分析密文或其他辅助信息来获取明文信息的情况。

信息隐藏是指通过加密算法和密钥管理方法，使得除了合法的接收者之外的任何人无法获取明文信息的情况。

信息论参考答案信息论参考答案信息论是一门研究信息传输和编码的学科，它的核心概念是信息的度量和传输。

信息论的发展可以追溯到上世纪40年代，由克劳德·香农提出，并逐渐成为计算机科学、通信工程等领域的重要理论基础。

本文将从信息的定义、信息的度量以及信息的传输三个方面，探讨信息论的相关知识。

一、信息的定义信息是指能够改变接收者知识状态的事实或数据。

在信息论中，信息的基本单位是比特（bit），它表示一个二进制的选择，即0或1。

比特是信息论中最小的单位，可以用来表示一个简单的选择问题，如是或否、真或假等。

当然，在实际应用中，比特往往被扩展为更大的单位，如字节、千字节等。

二、信息的度量信息的度量是信息论的核心问题之一。

克劳德·香农提出了信息熵的概念，用来度量信息的不确定性或者说信息的平均量。

信息熵的计算公式为：H(X) = -ΣP(x)log2P(x)，其中H(X)表示随机变量X的信息熵，P(x)表示随机变量X取值为x的概率。

信息熵越大，表示信息的不确定性越高，反之亦然。

除了信息熵，信息论还引入了条件熵、相对熵和互信息等概念。

条件熵表示在已知某些信息的情况下，对另一个随机变量的不确定性进行度量。

相对熵用来衡量两个概率分布之间的差异，而互信息则表示两个随机变量之间的相关程度。

三、信息的传输信息的传输是信息论的另一个重要问题。

在信息论中，通过信道来传输信息。

信道可以是有线的或者无线的，可以是噪声的或者非噪声的。

为了保证信息的可靠传输，需要对信息进行编码和解码。

编码是将信息转化为能够在信道中传输的信号的过程。

常见的编码方法有霍夫曼编码、香农-费诺编码等。

编码的目标是尽量减少信息的冗余，提高信息的传输效率。

解码是将经过信道传输的信号恢复为原始信息的过程。

解码的目标是尽量减少信息的失真，保证信息的可靠性。

常见的解码方法有最大似然解码、Viterbi解码等。

信息论的应用广泛，不仅在通信领域发挥着重要作用，还在数据压缩、密码学、人工智能等领域有着广泛的应用。

⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2211I I x q x x q x x q x X q X ∑==I i ix q 11)(⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2211m q q q q x x x x x x X X m ∏=Ni i x q 1)(第1章 信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。

消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。

通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。

信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。

狭义信息论信息论研究的范畴： 实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能：1. 信源 信源是产生消息的源。

2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。

编码器分为信源编码器和信道编码器两种。

3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。

4. 译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。

5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。

离散信源及其数学模型离散信源—消息集X 为离散集合，即时间和空间均离散的信源。

连续信源—时间离散而空间连续的信源。

波形信源—时间和空间均连续的信源。

无记忆信源—X 的各时刻取值相互独立。

有记忆信源—X 的各时刻取值互相有关联。

离散无记忆信源的数学模型—离散型的概率空间：x i ∈{a 1,a 2,…,a k } 1≤i ≤I0≤q(x i )≤1离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤Nq (x )＝q (x 1x 2 … x N )＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。

自信息量：Harta p Nat a p bit a p a I i i e i i )(log )(log )(log )(102-=-=-=联合信息量：)(log )(2j i j i b a p b a I -=条件信息量：)/(log )/(2j i j ib a p b a I -=互信息量:)](/)/([log );(2i j i j i a p b a p b a I =信息的熵：∑=-=ni i i a p a p X H 12)(log )()(条件熵：∑∑==-=m j ni i j j i a b p b a p X YH 112)/(log )()/(联合熵：∑∑==-=m j ni j i j i b a p b a p XY H 112)(log )()(平均互信息量：)](/)/([log )();(112j mj ni i j j i b p a b p b a p X Y I ∑∑===马尔可夫信源问题： 1.n 元m 阶马尔科夫信源共有n m个稳定状态。

2. 用∑==mni i j i j s s p s p s p 1)/()()(和1)(1=∑=mni i s p 求各状态)(i s p ；3.极限熵：)/(log )/()(11i j ni nj i j i s s p s s p s p Hmm∑∑==∞-=4. 冗余度：0/1H H ∞-=ξ (H0表示等概分布信源的熵，2进制时为1)变长编码定理：m X H K m X H 22log /)(log /)(1≥>+信道容量问题：n 表示输入符号数，m 表示输出符号数。

bit/sign 无噪信道1（一一对应）信道容量：n C 2log =无噪信道2（一对多）信道容量：n C 2log =无噪信道3（多对一）信道容量：m C 2log = 对称信道（行列均可排列）信道容量：)..(log 212m q q q H m C-=当输入X 等概分布时，输出Y 也等概分布，此时达到信道容量。

一. 单选（每题2分，共20分）1.下面属于最佳变长编码的是（B ）下面不属于最佳变长编码的是（D ） B ．香农编码和费诺编码 D ．算术编码和游程编码2.加密编码的目的是（C ） 信源编码的目的是 提高通信有效性 。

C ．提高通信系统的安全性 信道编码的目的是 提高信息传输的可靠性 。

3.表中符合等长编码的是（A ） 表中符合即时码的是 A 、D 。

4.下列各量可能为负值的是（B ）下列各量不一定为正值的是(A) B ．互信息量 A ．互信息量5.一个m 位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个m 位的二进制数的自信息量为（m bit)6.联合熵H （XY ）与熵H （X ）及条件熵H （X/Y ）之间存在关系错误的是（D ） D ．H （XY ）＝H （X ）＋H （X ／Y ）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H 0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H 1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H 2 = 3.32比特/符号；以此类推，极限熵 H ∞ =1.4比特/符号。

问若用一般传送方式，冗余度γ为（0.71）H ∞ =1.5 冗余度为(0.68)8.某对称离散信道的信道矩阵为，信道容量为（C ） C ．)61,61,31,31(4log H C -=9.某信道传递矩阵为 ，其信道容量为（D ）⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=3131616161613131P ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD ．)41log 4143log 43()81,81,41,21(2log +--=H C10.下列各图所示信道是对称信道的是（C ）下列各图所示信道是删除信道的是（A ） C .A.11.当一个信道输入符号和输出符号的个数相同，且行对称、列对称的信道是 强对称 信道。

信息概论知识点总结一、信息与信息学基本概念1. 信息的概念信息是客观事物及其运动规律、人们活动及其规律的反映。

信息是人类根据需要、目的和有关条件，利用符号表现手段和传播手段，对各种对象的特征和规律的描述。

信息具有传递、处理、储存等特性。

2. 信息的特征信息的基本特征包括客观性、客观性、时效性、非物质性，以及移动性、互动性和不确定性等。

3. 信息学的概念信息学是研究信息的规律和方法。

它是一门以信息为对象、以信息技术为手段、以信息科学为主要研究内容的综合学科。

4. 信息学的分类信息学可分为信息科学、信息技术和信息管理三个方面。

信息科学主要研究信息的自然规律和一般规律；信息技术主要研究信息的获取、处理、传输、存储与应用技术；信息管理主要研究信息的组织、管理、保护及其相关的管理制度和方法等。

二、信息概论的基本理论1. 信息量的测度香农提出的信息论是研究信息度量、传输和处理的一门理论。

信息量的测度可以用信息熵来表示，而信息熵可以用概率论和信息论相关的公式进行计算。

2. 信息的传递与存储信息的传递包括信息采集、编码、传输和译码等过程，而信息的存储主要包括信息的保存、检索和使用等内容。

信息理论研究了信息传输和存储的各种规律与方法。

3. 信息的处理与管理信息的处理主要包括信息的分析、判定和推理等过程，而信息的管理主要包括信息的组织、保护和利用等内容。

信息技术学科研究了信息的处理与管理的各种原理和技术。

三、信息概论的应用与发展1. 信息概论在社会生活中的应用信息概论的知识和理论不仅在信息科学与技术专业有着重要意义，而且在社会生活的各个领域都有着广泛的应用。

信息概论在政府管理、企业经营、教育培训、医疗卫生、文化传媒、科研创新等方面，都发挥着重要作用。

2. 信息概论的学科发展信息概论是信息学领域的基础课程，其学科发展与信息科学、信息技术、信息管理等相关学科的发展密切相关。

信息概论的学科前沿主要包括信息生物学、信息物理学、信息化工学等领域。

一：数据处理定理：（1）：I(X;Z)<=I(X;Y)表明从Z所得到的关于X的信息量小于等于从Y得到的关于X的信息量。

如果把Y-->Z看作数据处理系统，那么通过数据处理后，虽然可以满足我们的某种要求，但是从信息量来看，处理后会损失一部分信息，最多保持原有的信息，也就是说，对接收到的数据Y进行处理后，绝不会减少关于X的不确定性。

这个定理称为数据处理定理。

二：即时码，唯一可译码（充要条件）（1）：一个唯一可译码成为即时码的充要条件是时钟任何一个码字都不是其他码字的前缀。

这个很好理解，因为如果没有一个码字是其他码字的前缀，则在接受到一个相当于一个完整码字的符号序列后便可以立即译码，而无须考虑其后的码符号。

反过来说，如果有一个码字是其他码字的前缀，假设Wj是Wj的前缀，则在接收到相当于Wj的码符号序列后还不能立即判使之定它是一个完整的码字，若想正确译码，还必须参考后续后续的码符号，这与即时码的定义相矛盾，所以即时码的必要条件是其中任何一个码字都不是其他的码字的前缀。

三：香农定理：（1）第一定理：要做到无失真信源编码，每个信源符号平均所需最少得的r元码符号数就是信源的熵值（以r进制单位为信息量单位）（2）第二定理：设有一个离散无记忆平稳信道，其信道容量为C。

当信息传输率R<C时，只要码长n足够长，则总存在一种编码，可以使译码错误概率PE任意小。

否则，如果R>C，则无论取多大，也找不到一种编码，使译码错误概率PE任意小。

四：差错控制和译码规则(1）选择译码函数F（yi）=x*，使之满足条件p（x*/yi）>=p（xi/yi）称为最大后验概率译码规则，又称为最小错误概率准则，最优译码，最佳译码。

（2）选择译码函数F（yi）=x*，使之满足条件p（yi/x*）>=p（yi/x*）称为似然译码规则。

五：掌握信息的基本特点：（1）：信息是可以度量，而且它具有不确定性。

六：了解信息论的发展及最新成果：(1）：信息论创立的标志是1948年香农发表的论文。

四、简答（每题4分）1、信息的主要特征有哪些？（4）答：信息具有以下特征：（1）信息是可以识别的（2）信息的载体是可以转换的（3）信息是可以存贮的（4）信息是可以传递的（5）信息是可以加工的（6）信息是可以共享的2、信息的重要性质有哪些？答：可靠性、保密性、有效性、认证性3、简述几种信息分类的准则和方法。

狭义信息论、一般信息论、广义信息论4、信息论研究的内容主要有哪些？答：对信息论的研究内容一般有以下三种理解。

狭义信息论（经典信息论）：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。

这部分内容是信息论的基础理论，又称为香农信息论。

一般信息论（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。

广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。

五、简述自信息的性质。

答：概率为0时，相应的自信量无意义、非负性、可加性六、简述信源熵的基本性质。

答：1、对称性：H(P) 的取值与分量p1, p2, 〃〃〃 , p q的顺序无关。

2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=03、非负性：H(P)≥ 04、扩展性5、可加性：统计独立信源X和Y的联合信源的熵等于信源X和Y各自的熵之和。

H(XY) = H(X)+ H(Y)6、强可加性：两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵。

H（XY）=H（X）+ H（Y/X）7、递增性8、极值性在离散信源情况下，信源各符号等概率分布时，熵值达到最大。

9、上凸性七、简述信源熵、条件熵、联合熵和交互熵之间的关系。

H(XY) = H(X) + H(Y|X)H(XY) = H(Y) + H(X|Y)H(X) >= H(X|Y)H(Y) >= H(Y|X)H(XY) <= H(X) + H(Y)H(X1X2)＝H(X1)+H(X2/X1) ≤ H(X1)+H(X2) = 2H(X)八、信道的分类方法有哪些？答：根据载荷消息的媒体不同（邮递信道、电信道、光信道、声信道）。

1. 绪论信息论回答了通信的两个最基本问题:（1）数据压缩的极限；（2）信道传输速率的极限；信息、消息和信号消息：信息的載體（能被感知和理解、進行傳遞和獲取）信息：事物運動狀態或存在方式的不確定性的描述（香農）先驗概率：P(a i)自信息：I(a i)=log[P-1(a i)]；（信息接收的不確定性）互信息：I(a i;b i)= log[P-1(a i)]- log[P-1(a i|b i)];（信息接收的多少度量）（若信道無干擾，則互信息等於自信息等於0）優點：明確的數學模型、定量計算；缺點：有適用範圍；信號；通信系统的模型通信系统的基本要求:有效、可靠、保密、认证2. 离散信源及其信息测度﹣离散信源的定义：輸出信息數有限、每次只輸出一個；﹣自信息的定义及物理意义事件發生前：事件發生的不確定性；事件發生后：時間含有的信息量；信息熵的定义及物理意义,信息熵的基本性质定義：自信息的數學期望（ H(X)= -∑[ P(a i)logP(a i) ] ）信源的總體信息測度（1）每個消息所提供的平均信息量；（2）信源輸出前，信源的平均不確定性；性質：（1）對稱性；（2）確定性；（3）非負性；（4）擴展性（可拆開）；（5）可加性；[ H(XY)=H(X)+H(Y) ]（6）強可加性；[ H(XY)=H(X)+H(Y|X) ]（7）遞增性；（8）極值性; [ H(p1,p2,p3…,p q)≤H(q-1,,…, q-1)= logq ] 等概率分佈信源的平均不確定性最大，稱為最大離散熵定理；—离散无记忆信源的扩展信源—扩展信源的熵H(X) = NH(X)—离散平稳信源：联合概率分布与时间起点无关；熵：联合熵H(X1X2)=∑∑P(a i a j)logP(a i a j)条件熵H(X2|X1)=-∑∑P(a i a j)logP(a i|a j)关系：H(X1X2)=H(X1)+H(X2|X1)熵率:离散平稳信源的极限熵 = limH(X N|X1X2…X N-1)—马尔可夫信源:某一时刻的输出只与此刻信源所处的状态有关而与以前的状态及以前的输出符号都无关；—马尔可夫信源的熵：H m+1=H(X m+1|X1X2…X m)—信源剩余度熵的相对率η= H极限/H0信源剩余度（输出符号间依赖强度）γ= 1-η=1-H极限/H0 3. 离散信道及其信道容量—H(X;Y)=H(X)-H(X|Y)—离散信道的数学模型—信道矩阵性質（1）P(a i bj)=P(a i)P(b j|a i)=P(b j)P(a i|b j)；（2）[ P(b1) ] [ P(a1) ][ P(b2) ] [ P(a2) ][ P(b3) ] = [ P(a4) ] （r≠s）[ … ] [ … ][ P(b s) ] [ P(a r) ]（3）輸出端收到的任一b j一定是輸入符號a r中的某一個送入信道；─信道疑义度的定义：收到Y後對變量X尚存在的平均不確定性：H(X|Y)=E[H(X|b j)]=∑P(xy)log-1P(X|Y)物理意义:噪聲造成的影響大小；─平均互信息的定义：收到Y後平均每個符號獲得的關於X的信息量（物理意義：反映輸入輸出兩個隨機變量之間的統計約束關係）：I(X;Y)= H(X)-H(X|Y) = ∑P(xy)P(y|x)P-1(y)無噪一一對應信道中：I(X;Y)=H(X)=H(Y)＝0—信道容量的定义：信道每秒鐘平均傳輸的信息量稱為信息傳輸速率，最大信息傳輸率稱為信道容量；—信道容量的计算:无噪信道(求H(X)極值)：C = logr对称信道（信道矩陣的每一行或列是另一行或列的置換）：C = logs-H(p1,p2,…,p s)强对称信道：C = logr-plog(r-1)-H(p)；准对称信道：C = logr-H(p1,p2,…,p s)-∑N k logM k（Nk是第k個子矩陣行元素之和，Mk是第k個子矩陣列元素之和）一般离散信道（對所有可能的輸入概率分佈求平均互信息的最大值）：C =λ＋loge條件：I(x i;Y) = ∑s j=1P(b j|a i)*log[P(b j|a i)/P(b j)]≤C—数据处理定理如果X、Y、Z组成一个马尔科夫链，则有I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z) 信息不增性原理一般的数据处理原理I(S;Z)≤I(S;Y)I(S;Z)≤I(X;Z)I(S;Z)≤I(X;Y)—信道剩余度= C-I(X;Y)相对剩余度= 1-I(X;Y)/C无损信道的相对剩余度= 1-H(X)/logr4. 波形信源和波形信道連續信源的相對熵: h(X)Δ= ﹣∫R p(x)logp(x)dx 波形信源的差熵：h(x(t))Δ=lim N->★h(X1X2…X N)连续信源的差熵：均匀分布连续信源的差熵:N維均勻分佈：高斯信源的差熵：N維高斯信源的差熵：差熵的性质：（1）可加性；（2）凸性；（3）可負性；（4）變換性（X1->X2,差熵會變化）；（5）極值性：離散信源的信源符號等概率分佈時信源的熵最大;連續信源：﹣當峰值功率受限為p^時（輸出信號的瞬時電壓限制為±(p^)1/2），此時信源輸出的連續隨機變量限制在[a,b]內，信源具有最大熵：h=log(b-a)如果隨機矢量取值受限，則各隨機分量統計獨立并均勻分佈時具有最大熵；﹣當信源輸出信號的平均功率被限定為P，則其信號幅度的概率密度分佈為高斯分佈時，信源有最大熵：h=1/2＊log2πePN維連續平穩信源如果其N維隨機序列的協方差矩陣C被限定，則N維隨機矢量為正太分佈時信源的熵最大。

1. 条件增加，随机变量的不肯定性下降，对应的熵减少2. 设X={1X ,…n X ,…}为无记忆信源，则熵率()()1H X =H X ∞3. 冗余度=log X -H X∞，相对冗余度=H X 1-log X∞4. 一个随机变量X 的任何D 进即时码的平均码长L 应满足，其中等号成立当且仅当-liiD =P 5.二进对称信道的转移概率矩阵为1-1-εεεε⎛⎫⎪⎝⎭6. 汉明失真：()ˆ0,x=xˆd x,x=ˆ1,x x ⎧⎨≠⎩当当平方失真：()()2ˆˆd x,x=x-x 绝对值失真：()()ˆˆd x,x=x-x7. 率失真函数()IRD 满足0≤()IRD ≤()H x ，()IRD =0，当且仅当m ax DD ≥8. 设信源X 是平稳的，则()()I2nn1RD =lim R D n→∞存在9. 随机变量经变换后，可微熵的变化，设c 为常数，则h (X +C )=h (X )设a 为常数，则h(aX)=h(X )+log a1、 如果用随机变量代表一个信源，则 熵 就是它的平均不肯定的度量。

2、 设χ∈x ，有概率p(x)，则x 的自信息定义为：I （x ）= 。

3、 信息的产生和发送者称之为 信源 。

4、 弱对称信道的信道容量为C =5、 香农在1948年首先证明了无记忆信源的 渐近等分性 并指出该性质对平稳遍历信源也成立。

6、 相对熵D(p ‖q)>=0，且等号成立的 充要 条件是p （x ）=q （x ）对所有的χ∈x 成立。

7、 （信道容量）一个离散无记忆信道的信道容量定义为C= 。

8、 信源 →信源编码器→信道编码器→ 信道 →信道译码器→信源译码器→ 信宿 1、设信源X 是平稳的，则 R I(D)=)(n1lim D R In ∞→ 右端的极限 _ ____。

(存在)2、对离散无记忆信源，RI(D)=n R)(D I，从而)(___)(1D R D R II 。