1．消息定义
信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。
信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。
信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。
信息的广义概念 信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和运动状态变化的方式。
➢ 语法信息(语法信息是指信息存在和运动的状态与方式。)
➢ 语义信息(语义信息是指信宿接收和理解的信息的内容。)
➢ 语用信息(语用信息是指信息内容对信宿的有用性。)
2．狭义信息论、广义信息论。
狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。
广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。
3.自信息 互信息 定义 性质及物理意义
自信息量： ()log()ixiIxPx
是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(xi)是随机量；I(xi)是非负值；I(xi)是P(xi)的单调递减函数。
自信息物理意义: 1.事件发生前描述该事件发生的不确定性的大小
2.事件发生后表示该事件所含有（提供）的信息量
互信息量:
互信息量的性质：1) 互信息的对称性
1 Shannon与现代密码学
王育民
西安电子科技大学
教育部计算机网络与信息安全重点实验室
1949年Shannon公开发表了《保密系统的通信理论》[8]，开辟了用信息论研究密码学的新方向，使他成为密码学的先驱、近代密码理论的奠基人。这篇文章是他在1945年为贝尔实验室所完成的一篇机密报告《A Mathematical Theory of Cryptograph》[1，[24]]。Boston环球报称此文将密码从艺术变成为科学。（Transformed cryptography from an art to a
science.）。本文发表后促使他被聘为美国政府密码事务顾问。
这一工作的背景是他在1941年在贝尔曾从事密码学研究工作，接触到SIGSALY电话，这是一种马桶大小的语言置乱设备，供丘吉尔和罗斯福进行热线联系。这一电话保密机所用的密码就是在今天也破不了[1，p.xx]。
SIGSALY电话机
这篇文章对于研究密码的人来说是需要认真读的一篇经典著作。本文奠定了现代密码理论的基础。可以说，最近几十年来密码领域的几个重要进展都与Shannon这篇文章所提出的思想有密切关系。
1. 保密通信系统的数学模型
Shannon以概率统计的观点对消息源、密钥源、接收和截获的消息进行数学描述和分析，用不确定性和唯一解距离来度量密码体制的保密性，阐明了密码系统、完善保密性、纯密码、理论保密性和实际保密性等重要概念，从而大大深化了人们对于保密学的理解。这使信息论 2 成为研究密码学和密码分析学的一个重要理论基础，宣告了科学的密码学时代的到来。
2.
2. 正确区分信息隐藏和信息保密
Shannon在引论中就明确区分了信息隐藏（隐匿信息的存在）和信息保密（隐匿信息的真意），以及模拟保密变换和数字信号加密（密码）不同之处。Shannon称后者为真保密系统（True secrecy system）
3. 密码系统与传信系统的对偶性
通信的数学基石——信息论
引言
1948年，美国科学家香农（C. E. Shannon）发表了题为“通信的数学理论”论文，这篇划时代学术论文的问世，宣告了信息论的诞生。文中，香农创造性地采用概率论的方法研究通信的基本问题，把通信的基本问题归结为“一方精确或近似地重现出另一方所选择的消息”，并针对这一基本问题给予了“信息”科学定量的描述，第一次提出了信息熵的概念，进而给出由信源、编码、信道、译码、信宿等组建的通信系统数学模型。如今，信息的概念和范畴正不断地被扩大和深化，并迅速地渗透到其他相关学科领域，信息论也从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。
信息论将信息的传递看作一种统计现象，运用概率论与数理统计方法，给出信息压缩和信息传输两大问题的解决方法。针对信息压缩的数学极限问题，给出了信息源编理论；针对信息传输的极限问题，则给出了信道编码理论。
《信息论基础与应用》在力求降低信息论学习对数学理论要求下，加强了信息论中基础概念的物理模型和物理意义的阐述；除此这外，该书将理论和实际相结合，增加了在基础概念的理解基础上信息论对实际通信的应用指导，并给出了相关应用的MATLAB程序实现，以最大可能消除学生对信息论学习的疑惑。
全书共分7章，第1章是绪论，第2章介绍信源与信息熵，第3章介绍信道与信道容量，第4章给出信源编码理论，第5章给出信道编码理论，在此基础上，第6章、第7章分别介绍了网络信息理论和量子信息理论。
什么是信息论
什么是信息论？信息论就是回答：
1）信息是如何被度量？
2）如何有效地被传输？
3）如果接收到的信息不正确，如何保证信息的可靠性？ 4）需要多少内存，可实现信息的存储。
所有问题的回答聚集在一起，形成的理论，称为信息论。总之，信息论是研究信息的度量问题，以及信息是如何有效地、可靠地、安全地从信源传输到信宿，其中信息的度量是最重要的问题，香农首次将事件的不确定性作为信息的度量从而提出了信息熵的概念。
信息论的创始人是
信息论的创始人是克劳德·香农（Claude Shannon），他是一位美国数学家和电信工程学家。他于1916年出生在密歇根州的佩滕，他父亲是一位生物学家，母亲则是一位数学家和教育家。从小，克劳德·香农就显示出了惊人的数学才能，在他读初中时，他已经学完了高中的所有数学课程，并在读完四年制的学士学位后，再在一年内取得了硕士学位。
克劳德·香农在斯坦福大学攻读博士学位时，受到一个名叫哈里·尤古特（Harry Nyquist）的电信工程师的影响，开始研究信息论的基本理论。他的博士论文《通信中的数学理论》（《A Mathematical Theory of Communication》）成为了信息论的奠基之作。这篇论文解决了通信中的一些基本问题，如如何在信息传输中最大限度地减少错误、如何最小化信息传输的带宽等问题。这篇论文不仅在电信领域产生了重大影响，同时也对计算机科学、统计学等领域的发展产生了深远的影响。
克劳德·香农的信息论理论被认为是信息技术和通信技术领域的“世纪之大发现”。他在一次讲座中曾说过：“一个人可以通过对信息进行量化并研究它们的传输方式，就可以创造一种科学”。这一理论为现代通信领域奠定了基础，为数字电路设计、计算机科学、人工智能等领域的发展提供了理论支持，使得现代社会的信息技术和通信技术得以快速发展。
在信息论之外，克劳德·香农也是一位非常有成就的工程师和发明家。他在工程领域的贡献包括发明数字电路信号的二进制表示法、设计出了第一台数字电视、开发过多种自适应编码算法。他还是语音识别和人工智能领域的先驱之一。
除了在技术和理论层面上的贡献，克劳德·香农还是一位慷慨的慈善家。他一生中捐赠了数百万美元去资助科学家的研究。他的卓越成就和慷慨的为人给后世留下了难以替代的遗产。他的理论和成果激励了整个信息技术界不断推进，为我们现代社会的每个领域注入了活力并且影响深远。
