下载文档原格式
信息论基础知识在当今这个信息爆炸的时代，信息论作为一门重要的学科，为我们理解、处理和传输信息提供了坚实的理论基础。
信息论并非是一个遥不可及的高深概念，而是与我们的日常生活和现代科技的发展息息相关。
接下来，让我们一同走进信息论的世界，揭开它神秘的面纱。
信息是什么？这似乎是一个简单却又难以精确回答的问题。
从最直观的角度来看，信息就是能够消除不确定性的东西。
比如，当我们不知道明天的天气如何，而天气预报告诉我们明天是晴天，这一消息就消除了我们对明天天气的不确定性，这就是信息。
那么信息论又是什么呢？信息论是一门研究信息的量化、存储、传输和处理的学科。
它由克劳德·香农在 20 世纪 40 年代创立，为现代通信、计算机科学、统计学等众多领域的发展奠定了基础。
在信息论中，有几个关键的概念是我们需要了解的。
首先是“熵”。
熵这个概念听起来可能有些抽象，但其实可以把它理解为信息的混乱程度或者不确定性。
比如说，一个完全随机的字符串，其中每个字符的出现都是完全不确定的，它的熵就很高；而一个有规律、可预测的字符串，其熵就相对较低。
信息的度量是信息论中的一个重要内容。
香农提出了用“比特”（bit）作为信息的基本度量单位。
一个比特可以表示两种可能的状态（0 或1）。
如果一个事件有8 种等可能的结果，那么要确定这个事件的结果，就需要 3 个比特的信息（因为 2³＝ 8）。
信息的传输是信息论关注的另一个重要方面。
在通信过程中，信号会受到各种噪声的干扰，导致信息的失真。
为了保证信息能够准确、可靠地传输，我们需要采用一些编码和纠错技术。
比如，在数字通信中，常常使用纠错码来检测和纠正传输过程中产生的错误。
信息压缩也是信息论的一个重要应用。
在数字化的时代，我们每天都会产生大量的数据，如图片、音频、视频等。
通过信息论的原理，可以对这些数据进行压缩，在不损失太多有用信息的前提下，减少数据的存储空间和传输带宽。
再来说说信息的存储。
信息论形成的背景与基础人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。
随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。
到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。
美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。
信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。
20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。
近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。
信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。
随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。
信息论定义及概述信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
核心问题是信息传输的有效性和可靠性以及两者间的关系。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息认识--信息理论基础知识-一起来了解信息论一起来了解信息论作者：蔡筱英 | 来源：信息方法概论 ]学习要点：信息论是研究信息的计量、发送、传递、交换、接收和储存的一门新兴学科。
信息论有狭义信息论与广义信息论之分。
狭义信息论由美国数学家、电机工程师商农在1948年创立的,其出发点是解决信息传递(通信)过程中的一系列理论问题。
因此，狭义信息论也叫统计通信理论。
广义信息论通常叫做信息科学。
信息论(information theory)是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴学科。
人类的社会生活是不能离开信息的，人类的社会实践活动不光需要对周围世界的情况有所了解并能做出正确的反应，而且还要与周围的人群沟通关系才能协调地行动。
这就是说，人类不仅时刻需要从自然界获得信息，而且人与人之间也需要进行通信，交流信息。
人类需要随时获取、传递、加工、利用信息，否则就不能生存。
人们获得信息的方式有两种；一种是直接的，即通过自己的感觉器官，耳闻、目睹、鼻嗅、口尝、体触等直接了解外界情况；一种是间接的，即通过语言、文字、信号等传递消息而获得信息。
通信是人与人之间交流信息的手段，语言是人类通信的最简单要素的基础。
人类早期只是用语言和手势直接进行通信，交流信息。
“仓颉造字”则使信息传递摆脱了直接形式，同时扩大了信息的储存形式，可算是一次信息技术的革命。
印刷术的发明，扩大了信息的传播范围和容量，也是一次重大的信息技术变革。
但真正的信息革命则是电报、电话、电视等现代通信技术的创造与发明，它们大大加快了信息的传播速度，增大了信息传播的容量。
正是现代通信技术的发展导致了关于现代通信技术的理论——信息论的诞生。
信息论的创始人是美国贝尔电话研究所的数学家仙农(C. E. Shannon，1916——) ，他为解决通信技术中的信息编码问题，把发射信息和接收信息作为一个整体的通信过程来研究，提出了通信系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。
Chp02 知识点：自信息量：1）I ( x i )log p(x i )2）对数采纳的底不一样，自信息量的单位不一样。
2---- 比特（ bit ）、e---- 奈特（nat）、10---- 哈特（ Hart）3）物理意义：事件x i发生从前，表示事件x i发生的不确立性的大小；事件 x i发生此后，表示事件 x i所含有或所能供给的信息量。
均匀自信息量（信息熵）：1）H (x) E[ I (x i)]q p( x i ) log p( x i )i 12）对数采纳的底不一样，均匀自信息量的单位不一样。
2---- 比特 /符号、 e----奈特 /符号、 10---- 哈特 /符号。
3）物理意义：对信源的整体的不确立性的统计描绘。
表示信源输出前，信源的均匀不确立性；信源输出后每个消息或符号所供给的均匀信息量。
4）信息熵的基天性质：对称性、确立性、非负性、扩展性、连续性、递推性、极值性、上凸性。
互信息：p(x i | y j )1）I ( x i; y j)I (x i ) I ( x i | y j )logp( x i )2）含义：已知事件y j后所除去的对于事件x i的不确立性，对信息的传达起到了定量表示。
均匀互信息：1）定义：2）性质：结合熵和条件熵：各种熵之间的关系：数据办理定理：Chp03 知识点：依照不一样标准信源的分类：失散单符号信源：1）概率空间表示：X a1a2L a rP p a1p a2L p a rr0 p a i1,(i 1,2,L , r ); p a i 1i 12）信息熵：H ( x) E[ I (x i)]q p(x i ) log p( x i ) ，表示失散单符号信i 1源的均匀不确立性。
失散多符号信源：用均匀符号熵和极限熵来描绘失散多符号信源的均匀不确立性。
均匀符号熵：H N (X ) 1 H (X1X2...X N)N极限熵（熵率）： H ( X )lim H N ( X )N（1）失散安稳信源（各维结合概率散布均与时间起点没关的信源。
信息论知识点总结信息论是一门研究信息传递和处理的科学，主要涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。
以下是信息论的一些重要知识点：1. 信息量度：信息量是对信息的度量，用于衡量信息的多少。
信息的大小与随机事件的概率有关，熵是衡量随机变量分布的混乱程度，即随机分布各事件发生的信息量的期望值。
2. 信道容量：信道容量是描述信道传输信息能力的指标，表示信道在每秒内所能传输的最大信息量。
对于有噪声的信道，需要通过编码技术来达到信道容量。
3. 条件熵：条件熵是在给定某个条件下的熵，用于衡量在已知某个条件的情况下，随机变量的不确定性。
4. 相对熵（KL散度）：相对熵是衡量两个概率分布之间的差异，也称为KL 散度。
如果两个分布相同，相对熵为0。
5. 信息传输速率：信息传输速率是指单位时间内传输的信息量，是评价通信系统性能的重要参数。
6. 干扰对信息传输的影响：在信息传输过程中，各种干扰因素会对信息传输产生影响，如噪声、失真、衰减等。
为了提高信息传输的可靠性和有效性，需要采取抗干扰措施。
7. 信息压缩：信息压缩是减少数据存储空间和提高数据传输效率的一种技术。
常见的压缩算法有Huffman编码、LZ77、LZ78等。
8. 纠错编码：纠错编码是一种用于检测和纠正错误的技术，广泛应用于通信和存储领域。
常见的纠错编码有奇偶校验、CRC等。
9. 加密编码：加密编码是一种保护信息安全的技术，通过对数据进行加密处理，防止未经授权的访问和泄露。
常见的加密编码有AES、RSA等。
以上是信息论的一些重要知识点，希望对您有所帮助。
