下载文档原格式
信源熵的名词解释信源熵（Source Entropy）是信息论中一个重要的概念，用于衡量信息源的不确定性和信息的平均编码长度。
在信息论中，信息可以被看作是从一个信源中获取的，而信源熵用来描述这个信源的不确定性大小。
信源熵的计算方法是根据信源可能产生的符号的概率分布来进行的。
具体来说，如果一个信源有n个可能取值（符号）S1，S2，...，Sn，并且每个符号出现的概率分别为P1，P2，...，Pn，那么信源的熵H(S)可以通过下面的公式计算得出：H(S) = -P1log(P1) - P2log(P2) - ... - Pnlog(Pn)其中，log是以2为底的对数，P1，P2，...，Pn是概率分布。
信源熵的含义是，对于一个不确定性较大的信源，需要更长的编码长度来表示每一个符号，所以熵值越大，说明信息的平均编码长度越长。
相反，当一个信源的不确定性较小，即各个符号出现的概率分布较平均时，信息的平均编码长度较短，熵值较小。
以一个简单的例子来说明信源熵的概念。
假设有一个只有两个符号的信源，分别记为S1和S2，它们出现的概率分别为P1和P2。
如果这两个符号的概率分布相等（即P1 = P2 = 0.5），那么信源的熵就是最大的，因为这两个符号的不确定性相同，需要同样长度的编码来表示它们。
而如果其中一个符号的概率接近于1，另一个符号的概率接近于0，那么信源的熵就是最小的，因为其中一个符号的信息是确定的，只需要很短的编码来表示它。
这个例子可以帮助我们理解信源熵与不确定性之间的关系。
除了信源熵，信息论中还有一个重要的概念是条件熵（Conditional Entropy）。
条件熵是在已知一定的背景条件下，信源的不确定性大小，即在给定前提条件下的平均编码长度。
条件熵可以通过信源和条件之间的联合概率分布来计算，其公式为：H(S|T) = -ΣΣP(s, t)log(P(s|t))其中，P(s, t)表示符号s和条件t联合发生的概率。
第一章绪论简单介绍本课程1.教学重点和计划1)信源及信源熵：约8学时2)无失真信源及无失真信源编码：约8学时3)限失真信源及限失真信源编码：约8学时4)信道及信道容量、信道编码：约12学时5)密码学：约8学时参考书1）信息论及信息处理，吴伟陵，人民邮电出版社2）信息论—基础理论与应用，傅祖芸编著，电子工业出版社，20013）信息理论与编码，姜丹，钱玉美编著4）信息论基础教程，李亦农编著，北京邮电大学出版社，2005§1 信息的概念信息这一概念是在人类社会互通情报的实践过程中产生的。
信息在发展过程中主要经历了五次大的革命：1、声音、手势及语言；2、文字符号进入人类社会；3、印刷术提供了新的信息活动手段：增大了信息的传播范围；4、电磁波开始传播信息：加快了传播速度；5、计算机与通信的完美结合。
推动信息革命和信息技术发展的三项技术：✓微电子技术—信息技术的“细胞”✓通信技术—信息技术的神经✓计算机技术—信息技术的大脑信息科学是一门综合性学科，它是研究信息及其运动规律的科学。
其内容包括：信息的本质及其度量，信息的产生、获取、传播、处理和施效的规律。
研究的目的是扩展人类获取和利用信息的能力。
信息技术是运用信息科学的研究成果来解决生产实际问题，包括：✓感测技术（信息获取）✓通信技术（信息传输）✓计算机技术（信息处理）✓自动控制技术（信息施效）信息产业是专门从事信息生产、传播、出售和服务的产业，包括：信息技术设备制造、信息服务等。
⏹信息的定义我国学者钟义信教授对信息的定义为：信息就是在事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的认识。
信息是事物的状态和状态变化的方式。
1、信息是无形的2、信息是可共享的3、信息是可扩充的4、信息是可以度量的分析通信过程，通信的目的不外有两种情形：一是自己有某种形式的信息要告诉对方，同时估计对方既会对这种信息感到兴趣，而又尚不知道这个信息。
也就是说，对方在关于这个信息的知识上存在着不确定性；另一种情况是，自己有某种疑问要向对方询问，而且估计对方能够解答自己的疑问。
