熵名词解释

《信息论与编码技术》复习提纲

复习题纲

第0章 绪论

题纲：

I. 什么是信息？

II. 什么是信息论？

III. 什么是信息的通信模型？

IV. 什么是信息的测度？

V. 自信息量的定义、含义、性质

需掌握的问题：

1. 信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）

2. Shannon信息论中信息的三要素是什么？

3. 通信系统模型图是什么？每一部分的作用的是什么？

4. 什么是信息测度？

5. 什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？

6. 自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？

第1章 信息论基础

㈠《离散信源》题纲：

I. 信源的定义、分类

II. 离散信源的数学模型

III. 熵的定义、含义、性质，联合熵、条件熵 IV. 离散无记忆信源的特性、熵

V. 离散有记忆信源的熵、平均符号熵、极限熵

VI. 马尔科夫信源的定义、状态转移图

VII. 信源的相对信息率和冗余度

需掌握的问题：

1. 信源的定义、分类是什么？

2. 离散信源的数学模型是什么？

3. 信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？

4. 单符号离散信源最大熵是多少？信源概率如何分布时能达到？

5. 信源的码率和信息率是什么，如何计算？

6. 什么是离散无记忆信源？什么是离散有记忆信源？

7. 离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？

8. 离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？

9. 什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？

10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？

11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？

信息论中的名词解释

信息论是一门研究信息传输、存储和处理的学科，由数学家克劳德·香农于20世纪40年代提出。它提供了一种量化信息的方法，使我们能够理解和分析信息的定义、度量和传输。本文将对信息论中的一些重要名词进行解释。

一、信息

信息是指能够改变接收者对某一事物或事件的了解的任何事物。在信息论中，信息的单位通常用“比特”（bit）来表示，表示一种二进制选择。比特可以是0或1，代表了信息的最小单位。比特率（bit rate）是指每秒传输的比特数，衡量了信息的传输速度。

二、信息熵

信息熵是信息论的核心概念之一，用于度量信息中的不确定度。熵越高，信息中的不确定性越大。假设有一个信息源产生的符号以不同的概率出现，熵就是这些符号所带来的平均信息量。

三、信源编码

信源编码是将离散符号源编码为离散码字源的过程。它的目标是通过使用较短的码字表示高概率的符号，从而达到压缩数据的目的。常用的信源编码包括哈夫曼编码和算术编码等。

四、信道编码

信道编码是为了增强数据在信道中传输过程中的可靠性而对其进行编码。通过引入冗余信息，信道编码可以提高数据的抗干扰能力和纠错能力。常见的信道编码方法有奇偶校验码、海明码和卷积码等。

五、奈奎斯特准则 奈奎斯特准则是指在离散信号传输中，为了避免互相干扰和失真，对信号的取样和传输速率有一定的要求。根据奈奎斯特定理，如果信号的带宽为B，那么采样速率至少为2B才能完整地恢复原信号。

六、信道容量

信道容量是指在给定信道带宽和信号传输条件下，信道能够传输的最大数据率。香农公式是用来计算离散无记忆信道容量的公式，它与信号中的噪声有关，较高的信噪比能够提高信道容量。

七、互信息

互信息用于衡量两个随机变量之间的相关性或依赖关系。互信息越大，两个变量之间的相关性越强。互信息可以用于特征选择、聚类分析和模式识别等问题。

八、通信密码学

通信密码学是信息论的一个重要分支，研究如何在通信过程中保护信息的安全性。它涉及到加密算法、密钥管理和认证技术等内容，用于保护信息在传输过程中不被第三方窃取或篡改。

- 1 - 林德曼定律名词解释

林德曼定律，又称劳伦斯林德曼定律，是美国物理学家劳伦斯林德曼于1903年提出的定律。他定义了一个熵值，熵值是定义在一个系统内的熵（熵是温度除以温度的函数）的函数，这个函数的最大值会随着它的时间变化而变化。在物理学上，林德曼定律表明，只有在有外力维持时，熵值才会静止不变。也就是说，一个系统在没有外力作用时，熵值不会发生变化，它将变得近似稳定，直到有一个外力来进行维持。

林德曼定律最初是用来解释“热力学第二定律”的热力学原理，它的主要特点是它在没有外力的情况下，熵值会随着时间而减少。然而，它更多地被用来解释系统的熵值在没有外力的情况下是怎样发展的。

在现实生活中，林德曼定律也得到了大量的应用。就像在静止不动的液体中就会产生熵值，同样，它也会用在世界上大部分的方面，如物理、化学、医学、神经生物学甚至社会学等等。比如，在设计机器人时，实验者也会遵循林德曼定律，以确保其运行稳定，可靠性高。

林德曼定律的出发点是，系统的熵值会随着时间的推移而增加，这里涉及到熵值的定义。换句话说，当一个物理系统开始运行时，它会立即发生一个熵增量，并一直保持这个熵增量。但是，也要说明的是，如果外力对系统施加，那么熵和温度会发生变化，这就是林德曼定律的本质。

林德曼定律有助于我们理解未知系统的熵值会如何发生变化，它 - 2 - 也让我们知道外力的作用及其对未知系统的影响。它的应用很广，从理论上的物理学定律，到其它非技术性的社会学原理，都可以发挥其作用。因此，我们可以表示，林德曼定律确实是一条重要的定律，它能帮助我们了解系统熵值的变化，并制定出相应的规则。

晶粒：一般固态金属均由很多结晶颗粒所组成，这些结晶颗粒称为晶粒。

伪等向性：由于多晶体中的晶粒位向是任意的，晶粒的各向异性被互相抵消，因此在一般情况下整个晶体不显示各向异性，称之为伪等向性。

多晶型转变：当外部条件改变时，金属内部由一种晶体结构向另一种晶体结构的转变称为多晶型转变，出称为同素异构转变。

能量起伏：对一个原子来说，这一瞬间能量可能高些，另一个瞬间能量可能低些，这种现象叫能量起伏。

空位：在某一温度下的某一瞬间，总有一些原子具有足够高的能量，以克服周围原子对它的约束，脱离开原来的平衡位置迁移到别处，于是在原位置上出现了空结点，这就是空位。

晶格畸变：缺陷的出现破坏了原子间的平衡状态，使晶格发生扭曲，称为晶格畸变。

位错：这是晶体中某处有一列或若干原子发生了有规律的错排现象，使长度达几百至几千个原子间距、宽约几个原子间距范围内的原子离开其平衡位置，发生了有规律的错动。

柏氏常量：这不但可以表示位错的性质，而且还可能表示晶格畸变的大小和方向，从而使人们在研究位错时能够摆脱位错区域内原子排列具体细节的约束，这就是所谓的柏氏常量。

位错密度：通常把部位体积中所包含的位错线的总长度称为位错密度。

表面能：将这种单位面积上升高的能量称为比表面能，简称表面能。

晶界：晶体结构相同但位向不同的晶粒之间的界面称为晶粒间界，或简称晶界。

层错能：通常把产生单位面积层错所而需要的能量称为层错能。

相界：具有不同晶体结构的两相之间的分界面称为相界。

内吸附：由于晶界能的存在，当金属中存在有能降低晶界能的异类原子时，这些原子就将向晶界偏聚，这种现象称为内吸附。

反内吸附：凡是能提高晶界能的原子，将会在晶粒内部偏聚，这种现象叫反内吸附。

过冷度：理论结晶温度与实际结晶温度之差，称为过冷度。

相变潜热:1mol物质从一个相转变为另一个相时，伴随着放出或吸收的热量称为相变潜热。

熵：表征系统中原子排列混乱程度的参数。