信息论的奠基人——香农

香农编码的原理
香农编码（Shannon Coding），又称为香农-费诺编码（Shannon-Fano Coding），是由信息论的奠基人之一克劳德·香农（Claude Shannon）于1948年提出的一种熵编码方法。

香农编码的目标是用尽可能短的二进制编码表示出现概率不同的符号，从而减小信息传输的平均长度。

香农编码的基本原理如下：
* 符号的概率分布：
* 对于给定的符号集合，首先需要知道每个符号出现的概率。

* 概率排序：
* 将符号按照概率从高到低排序。

* 分割符号集：
* 将符号集按照概率中位数分为两组，保证一组的概率之和接近另一组。

* 分配二进制编码：
* 对于左侧一组的符号，添加一个二进制前缀（如0），对右侧一组的符号添加另一个二进制前缀（如1）。

* 递归处理：
* 对于分割后的每个子集，重复上述过程，直到每个符号都被分配唯一的二进制编码。

* 生成编码表：
* 根据上述过程生成完整的编码表，包含每个符号和对应的二进制编码。

香农编码的特点是，出现概率较高的符号获得较短的编码，而出现概率较低的符号获得较长的编码。

这样设计的编码方案可以有效减
小平均编码长度，提高信息传输的效率。

需要注意的是，香农编码的主要缺点在于生成的编码长度可能不是整数，可能存在解码的歧义性。

为了解决这个问题，后来发展出了霍夫曼编码等更为广泛使用的熵编码方法。

通信的数学基石——信息论引言1948年，美国科学家香农（C. E. Shannon）发表了题为“通信的数学理论”论文，这篇划时代学术论文的问世，宣告了信息论的诞生。

文中，香农创造性地采用概率论的方法研究通信的基本问题，把通信的基本问题归结为“一方精确或近似地重现出另一方所选择的消息”，并针对这一基本问题给予了“信息”科学定量的描述，第一次提出了信息熵的概念，进而给出由信源、编码、信道、译码、信宿等组建的通信系统数学模型。

如今，信息的概念和范畴正不断地被扩大和深化，并迅速地渗透到其他相关学科领域，信息论也从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。

信息论将信息的传递看作一种统计现象，运用概率论与数理统计方法，给出信息压缩和信息传输两大问题的解决方法。

针对信息压缩的数学极限问题，给出了信息源编理论；针对信息传输的极限问题，则给出了信道编码理论。

《信息论基础与应用》在力求降低信息论学习对数学理论要求下，加强了信息论中基础概念的物理模型和物理意义的阐述；除此这外，该书将理论和实际相结合，增加了在基础概念的理解基础上信息论对实际通信的应用指导，并给出了相关应用的MATLAB程序实现，以最大可能消除学生对信息论学习的疑惑。

全书共分7章，第1章是绪论，第2章介绍信源与信息熵，第3章介绍信道与信道容量，第4章给出信源编码理论，第5章给出信道编码理论，在此基础上，第6章、第7章分别介绍了网络信息理论和量子信息理论。

什么是信息论什么是信息论？信息论就是回答：1）信息是如何被度量？2）如何有效地被传输？3）如果接收到的信息不正确，如何保证信息的可靠性？4）需要多少内存，可实现信息的存储。

所有问题的回答聚集在一起，形成的理论，称为信息论。

总之，信息论是研究信息的度量问题，以及信息是如何有效地、可靠地、安全地从信源传输到信宿，其中信息的度量是最重要的问题，香农首次将事件的不确定性作为信息的度量从而提出了信息熵的概念。

香浓定理解密之旅——信息论香农定理是以其奠基人克劳德·香农命名的一条定理，也是信息论的中心。

它揭示了数字通信中信息传输的极限，即信道容量。

本文的目的是通过对香农定理的讲解，让大家更好地了解信息论。

一、信息量的度量首先，我们需要了解在信息论中信息量的度量方式——信息熵。

信息熵是对一组可能性的不确定性程度的度量，它表示在一个系统中信息的平均量。

例如，考虑一枚硬币正面朝上和反面朝上的等概率事件，那么它的信息熵就是1比特。

另一个例子是一组4个可能性的抛硬币事件，那么它的信息熵就是2比特。

通常，我们将信息熵用H表示，单位是比特（bit）。

二、确定信道的容量下面，我们来探讨确定信道的容量。

确定信道是指，在信道中信息没有噪声干扰的情况下，信道的信息传输速率是无限的。

在这样的情况下，信源的信息熵必须小于或等于信道的容量。

在信源的信息熵等于信道容量的情况下，数据传输速率的极限被称为香农极限。

香农极限是一种理论上最快的数据传输速度的极限，它可以用以下公式计算:C = B log(1+S/N)其中C是信道容量，B是信道的宽带，S和N分别是信道内和信道外的信号功率。

这个公式告诉我们，当信号功率的信噪比（SNR）变大时，信道容量也随之增大。

三、非确定信道的容量实际上，在现实生活中，信息传输经常受到噪声的干扰。

在这种情况下，信道容量的计算就更为复杂了。

非确定信道的容量可以用香农公式的扩展版本来计算。

该公式包括两个元素：一是附加的关于信噪比的修正因子，称为香农-哈特利定理，用于计算噪声对数据传输速率的影响；二是关于信道编码的信息，即纠错码和流程控制等技术的应用，能够在一定程度上减轻噪声的影响，提高数据传输速度。

四、应用香农定理被广泛应用于无线通信领域，例如手机通信、无线电子邮件、卫星通信和移动应用等。

通过运用香农定理的基本原理，科学家们不断推陈出新，发明更为先进的通讯技术，开发出更高效、更稳定、更便捷、更安全的通讯设备和网络，使得信息交流更为便捷和快捷，有效地推动了社会进步和经济发展。

通信工程师考试香农公式通信工程师考试中，香农公式是一项重要的知识点。

香农公式是由信息论的奠基人之一克劳德·香农（Claude Shannon）提出的，用于描述信道容量的理论公式。

它是通信工程师设计和优化通信系统时必备的工具。

香农公式是指通过信道传输的最大可靠信息速率，也称为信道容量。

它与信噪比（信号与噪声的比值）和信道带宽（可用频率范围）有关。

香农公式的表达式为：C = B * log2(1 + S/N)其中，C表示信道容量，B表示信道带宽，S表示信号的平均功率，N表示噪声的平均功率。

香农公式的单位通常为比特每秒（bps）。

香农公式的意义在于，它告诉我们信道的最大传输速率是多少。

在设计通信系统时，我们希望尽可能地提高信道容量，以便传输更多的信息。

通过优化信噪比和信道带宽，我们可以达到更高的信道容量。

香农公式的应用范围非常广泛。

在无线通信领域，它可以用来评估无线信道的容量，为无线网络的规划和优化提供指导。

在有线通信领域，它可以用来评估光纤和同轴电缆等传输介质的容量，为有线网络的设计和布线提供参考。

在实际应用中，香农公式需要考虑信道的特性和限制。

例如，信道的带宽可能受到频谱资源的限制，信噪比可能受到环境噪声的影响。

因此，通信工程师需要在实际情况下合理应用香农公式，结合实际需求和限制进行系统设计和优化。

除了香农公式，通信工程师考试中还会涉及其他与信道容量相关的知识点，例如调制技术、编码和调制方案、信道编码和纠错编码等。

这些知识点都是通信工程师必备的技能，能够帮助工程师设计和优化各种类型的通信系统。

总结起来，通信工程师考试中的香农公式是一个重要的知识点。

它是用于描述信道容量的理论公式，通过信噪比和信道带宽来计算信道的最大传输速率。

通信工程师需要掌握香农公式的原理和应用，以便在设计和优化通信系统时能够充分发挥其作用。

同时，还需要了解其他与信道容量相关的知识点，以建立一个完整的通信工程师知识体系。

数学家和信息论创始人香农的贡献及其对后世人工智能的影响人工智能学家Claude E. Shannon: His Work and Impact张卫国，高新波，蒋洪波关键词：香农；信息论；密码学香农（Claude Elwood Shannon）生于1916年，卒于2001年。

今年是香农诞辰一百周年。

为了纪念这位伟大数学家和信息论的创始人，我们以香农的生平为线索，介绍他不平凡的一生和他对世界的影响。

香农于1916年4月30日诞生于美国密歇根（Michigan）州皮托斯基（Petoskey）的盖洛德（Gaylord）小镇。

孩童时代的香农性格比较内向，没有任何迹象能够表明他未来会是一位伟大的科学家。

香农的父母在科学方面对香农似乎没有产生多大的影响，但香农的祖父是一位发明过许多农业机械和洗衣机的发明家，对香农在科学研究方面的影响比较深远。

大发明家爱迪生（Thomas Alva Edison）是香农的远房亲戚，也是香农孩童时代的偶像。

中学时代的香农兴趣爱好广泛，参加镇上的乐队，吹奏中音萨克斯号。

那时的香农对各类机械装置非常感兴趣，对这些装置如何运转具有很强的好奇心。

1932年16岁的香农从盖洛德高中毕业，进入密歇根大学学习，并于1936年同时获得数学学士学位和电子工程学士学位。

在数学和工程领域中的双重兴趣一直贯穿于他的整个职业生涯。

大学毕业后的香农在麻省理工学院（MIT）注意到公告栏上张贴的招聘操作微分分析仪助理研究员的广告。

香农申请到这个职位，并在职攻读硕士学位。

香农为什么申请这个职位呢？这源于他对布尔逻辑维持一生的兴趣。

当时的微分分析仪其实是一种早期的模拟计算机，它通过上百个继电器组成的结点电路控制运算，可以求解高阶微分方程。

香农在密歇根大学时，曾学过符号逻辑和布尔代数，这成为他后来研究二元系统的数学理论基础。

中国人早就注意到二元现象的普遍性，并发展出阴阳哲学体系。

但遗憾的是，中国人从未用数学的观点去形式化描述二元现象，把对这一对象的认识模糊在玄学，而非精确在科学。

信息编码论期末考试试题一、单项选择题（每题2分，共20分）1. 信息论的奠基人是：A. 爱因斯坦B. 牛顿C. 香农D. 麦克斯韦2. 下列哪个不是编码的基本原则？A. 唯一性B. 可识别性C. 可逆性D. 复杂性3. 熵是衡量信息量的一个指标，它在信息论中的定义是：A. 信息的不确定性B. 信息的确定性C. 信息的有序性D. 信息的无序性4. 在信息编码中，冗余度是指：A. 编码中多余的部分A. 编码中重复的部分C. 编码中必需的部分D. 编码中缺失的部分5. 以下哪个编码方式不是基于概率的？A. 霍夫曼编码B. 香农-费诺编码C. 游程编码D. ASCII编码二、填空题（每题2分，共20分）1. 信息论中的信息量通常用______来衡量。

2. 信息的传输速率是指单位时间内传输的______。

3. 在编码理论中，______编码是一种无损压缩编码。

4. 信息论中的信噪比是指______与______的比例。

5. 编码的目的是减少信息的______，提高信息的传输效率。

三、简答题（每题10分，共30分）1. 简述信息论中熵的概念及其计算公式。

2. 描述霍夫曼编码的基本原理及其在数据压缩中的应用。

3. 阐述信道容量的概念，并解释如何通过信道编码来逼近信道容量。

四、计算题（每题15分，共30分）1. 给定一组字符及其出现概率：A(0.4), B(0.25), C(0.15), D(0.1), E(0.1)。

请使用霍夫曼编码为这组字符设计一个最优编码方案，并计算该编码方案的平均码长。

2. 假设一个信道的信噪比为10dB，信道带宽为3000Hz，请计算该信道的最大数据传输速率（香农极限）。

五、论述题（共20分）1. 论述信息编码在现代通信系统中的重要性，并举例说明其在实际应用中的作用。

请考生在规定的时间内完成以上试题，注意保持答题卡的整洁，字迹清晰。

祝您考试顺利！。

高中信息技术会考选择题知识点（一）信息获取1．信息的基本概念及基本特征（1）了解信息的含义；了解信息呈现多样性定义的现状，理解香农、维纳、钟义信等人从不同的角度对信息的定义。

信息论奠基人香农：信息是用来消除不确定的东西(从信息的作用)控制论奠基人维纳：信息就是信息，不是物质，也不是能量（三大资源）(从信息的本质)我国学者钟义信：事物运动的状态和方式，是事物内部结构和外部联系的状态和方式(从信息的来源)信息是利用各种载体（文字、符号、声音、图形、图像、视频、动画等），通过各种渠道所传播的内容（信号、消息、情报、报道等）。

（2）了解文字、语言、图像、图形、视频、音频和动画等信息载体特征，能从具体事例中指出事例信息的载体形式。

答：信息的载体形式：有文字、符号、表格、声音、图形图像、视频、动画，图表，手语，旗语，事物本身等。

（3）了解广播、电视、网络、电话、报刊书和对话等信息传播方式，能从具体事例中指出事例信息的传播途径。

答：信息的传播途径有：广播、电视、网络、电话、报刊书和对话等。

(题目中“采用（使用，通过，用等）……方式”)（4）了解听觉、视觉、触觉、嗅觉、味觉、传感等信息接收方式，能从具体事例中指出事例信息的接收方式。

答：信息的接收方式有：听觉、视觉、触觉、嗅觉、味觉、传感等。

信息的传播过程：信息发出方→用何载体→以何途径→信息接收方（信源）（信道）（信宿）（5）理解信息的传递性、共享性、载体依附性、价值性、价值相对性、真伪性、时效性、可度量性等重要特征，能从具体事例中提取信息的显着特征。

基本特征有：传递性、共享性、载体依附性、价值性、价值相对性、真伪性、时效性、可度量性等重要特征。

（6）信息的编码1．计算机只能识别和处理由“0”、“1”两个符号组成的数字代码。

或称计算机只能识别机器语言。

2.冯·诺依曼：数据和程序都应采用二进制代码表示。

3. 1bit(二进制位，信息的最小单位)，1Byte(字节,信息的存储单位)，1Byte=8bit1TB=1024GB 1GB=1024MB 1MB=1024KB 1KB=1024B2．信息技术的发展历程和发展趋势（1）了解信息技术的含义；了解信息技术呈现多样性定义的现状，理解从利用电子计算机和现代通讯工具获取、处理、存储、管理、传播信息的角度对信息技术的定义。

信息论的奠基人——香农——“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。

——这是数学家香农（Claude E. Shanon）在他的惊世之著《通信的数学理论》中的一句铭言。

正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。

——香农，1916年4月30日生于美国密执安州的加洛德。

在大学中他就表现出了对数理问题的高度敏感。

1938年，香农发表了著名的论文《继电器和开关电路的符号分析》，为计算机具有逻辑功能奠定了基础，从而使电子计算机既能用于数值计算，又具有各种非数值逻辑应用功能（比如用于设计字码锁等），使得以后的计算机在几乎任何领域中都得到了广泛的应用。

后来，他就职于贝尔电话研究所。

在这个世界上最大的通信公司（美国电话电报公司）的研究基地里，他受到前辈工作的启示，其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。

正是他们最早研究了通信系统的信息传输能力，第一次提出了信息量的概念，并试图用数学公式予以描述。

而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著，这就是上面提到的那篇《通信的数学理论》。

次年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。

在这两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。

两篇文章成了现代信息论的奠基著作。

而香农，也一鸣惊人，成了这门新兴学科的奠基人。

那时，他才不过刚刚三十出头。

曾获电气和电子工程师学会(IEEE)的诺贝尔奖等多项世界性科学大奖。

1956年当选美国科学院院士，并是多个学会的资深会员。

确实，他对人类的贡献超过了一般的诺贝尔获奖者。

香农信息论及数字通信之父数字通信和信息论的发展是当代科技进步的重要标志，而这两项领域的基石可以追溯到同一个人——克劳德·香农博士。

作为“信息论之父”，香农博士的理论和发现为现代数字通信技术铺平了道路。

克劳德·香农（Claude Shannon）是二十世纪最杰出的数学家和工程师之一。

他在1948年发表了一篇具有里程碑意义的论文“A Mathematical Theory of Communication”（通信的数学理论），标志着信息论的诞生。

在这篇论文中，他首次提出了一系列有关信息量、熵、数据压缩和错误纠正的基本概念，为后续的数字通信奠定了基础。

香农博士的信息论主要围绕三个核心概念：信息量、熵和数据压缩。

信息量是用来衡量信息的不确定性的量度，熵则是信息量的期望值。

这两者之间的关系揭示了信息的不确定性和随机性之间的。

而数据压缩则是利用这种不确定性进行的，通过更有效的编码方式，可以在不失真的情况下压缩数据的大小。

香农博士的工作不仅对通信理论产生了深远影响，还对实际应用产生了重大影响。

他的理论为现代数字通信技术的发展提供了指导，包括数字、数字电视、数字音频、网络通信和数据存储等。

同时，他的理论还为密码学和信息安全提供了基础，促进了现代加密技术的发展。

香农的信息论是现代通信和信息科技的基础，他的理论已经影响了我们生活的方方面面，从我们手中使用的手机到云计算技术，再到物联网设备，都离不开香农的信息论。

他被公认为数字通信和信息论的奠基人，对于当代科技的发展做出了无法估量的贡献。

香农博士不仅是一位伟大的科学家，他还是一位极富创新精神的工程师。

他的工作精神激励着一代又一代的科学家和工程师去探索、去创新，为人类的科技进步做出了卓越的贡献。

克劳德·香农博士的信息论是现代数字通信技术的基石，他的理论和工作对当代科技的发展产生了深远的影响。

他被誉为“信息论及数字通信之父”，对于人类科技进步的贡献无法估量。

高中信息技术《信息及其特征-信息》答辩题目与解析
第一题：目前对信息的认识最具有代表性的观点是什么?
【参考答案】
目前对信息的认识最具有代表性的观点有以下三个：
信息论的奠基人之一香农(C.E.Shannon)从通信工程的角度，认为信息是“用来消除不确定性的东西”，指的是有新内容或新知识的消息。

控制论的奠基人维纳(Norbert Wiener)则提出“信息就是信息，不是物质，也不是能量”，它是区别于物质与能量的第三类资源。

我国信息论学者钟义信教授认为信息是“事物运动的状态和方式，也就是事物内部结构和外部联系的状态和方式”。

第二题：信息和消息有什么不同?
【参考答案】
信息一定是消息，但是消息不一定是信息，信息一般是客观事物情况的真实反应，而消息有可能包含的是假信息，虚假信息。

第 1 页共1 页。

信息论之父香农，20世纪伟大的科学家，一个理论改变了一个时代信息论的奠基之作1687年7月5日，牛顿的《自然哲学的数学原理》首次出版发行，引爆了整个学术圈，从此奠定了他的江湖地位，而这本书也奠定了现代科学的范式。

1948年，香农发表了一篇英文名为《A Mathematical Theory of Communication》的论文，翻译过来就是《通信的一个数学原理》，这篇论文引起了巨大的轰动。

要知道一篇专业的学术论文被引用1000次已经是非常了不起了，而香农的这篇文章至今已经达到了110536次，可见其在学术圈的江湖地位。

几年后，这篇论文要成书发行，已经更名为《The Mathematical Theory of Communication》，翻译过来就是《通信的数学原理》。

这就意味着它已经被认为是信息论的奠基之作，这就好比《自然哲学的数学原理》在物理学界的起到的作用，而香农之于信息论，就像牛顿之于物理学。

那这个香农是何许人？今天，我们就来聊一聊：香农和他的《通信的数学原理》。

震惊世界克劳德·艾尔伍德·香农1916年出生于美国密西根州的盖洛德镇。

当时正值电气时代蓬勃发展，电报十分发达，不过电话还尚未普及，电话的价格还相对比较昂贵。

于是，很多人把牧场的刺铁丝网彼此相连，并自己安装电话送话器，在很小的范围内实现了通话。

香农就是在这样的氛围下长大的，他从小就喜欢发明和玩耍，尤其爱摆弄一些机械装置，他尤其钟爱摩尔编码，常常利用编码发送讯息。

后来，16岁的他进入了密歇根大学就读电气工程和数学。

1936年，20岁的香农辗转来到麻省理工学院作为研究助理，跟随当时的工程院院长万内瓦尔·布什。

那个时候，香农主要做的是操作一台数百吨重的机器，这台机器叫做：微分分析机。

在每天繁复的工作中，香农发现：机器中开关的切换，本质上并不是在传输电流，而是在传输状态。

或者说，也可以理解成是在传输一个事实，或者一个信息。

数据压缩与信息熵我们生活在一个信息繁杂的时代，无论是工作还是娱乐，我们都需要处理大量的数据。

然而，数据的传输和存储是需要消耗资源的。

因此，数据压缩成为一项重要的技术。

在数据压缩的过程中，信息熵是一个重要的概念。

信息熵最早由克劳德·香农在1948年提出，他是信息论的奠基人。

信息熵是用来衡量数据中的信息量的，也可以理解为数据中的不确定性量度。

数据压缩的目的就是通过利用数据中的统计规律来减少不确定性，从而达到减小数据存储和传输的目的。

比如，我们常常会用到的ZIP文件压缩算法，就是一种常见的数据压缩技术。

这种技术利用了文件中的重复信息，将重复的部分进行压缩。

在压缩后的文件中，重复的信息只保存一次，从而减小了文件的大小。

通过这种方式，我们可以在不丢失信息的前提下，节省存储空间和传输时间。

除了ZIP压缩算法，还有很多其他的数据压缩算法，比如Lempel-Ziv算法家族、哈夫曼树等等。

这些算法都是基于信息熵的思想来设计的。

通过利用数据中的统计规律，这些算法能够有效地压缩数据。

数据压缩不仅仅在文件存储和传输中有应用，还在图像、音频和视频等领域有着广泛的应用。

在图像压缩中，JPEG算法是一个常用的压缩算法。

JPEG算法通过利用图像中的颜色和亮度的相关性，将图像分块，并对每个分块进行压缩。

这样就能够在保持图像质量的同时，减小图像的大小。

在音频压缩中，MP3算法是一种常用的压缩算法。

MP3算法通过对音频中的声音频谱进行分析，找出其中重要的音频信息，并对其进行压缩。

这样就能够在减小音频文件大小的同时，保持音质的相对稳定。

在视频压缩中，H.264是一种广泛应用的压缩标准。

H.264通过利用视频中的时空相关性，对视频进行分块和压缩。

这样就能够在减小视频文件大小的同时，保持视频质量。

通过数据压缩技术，我们能够更好地利用存储空间和传输带宽。

数据压缩不仅能够提高存储效率，还可以提高数据传输的效率。

同时，数据压缩技术也促进了信息技术的发展，为我们的生活带来了很多便利。

信息论发展史内容摘要：信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。

现代信息论又是数学概率论与数理统计下年的一个分支学科。

现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。

作为信息论的奠基人克劳德·艾尔伍德·香农（Claude Elwood Shannon ），于1948年和1949年发表的两篇论文一起奠定了现代信息论的基础。

关键字：信息论(information theory）、克劳德·香农（Claude Shannon）、数学、信息与传输一．信息论概念及其研究发向信息论，顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。

它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。

信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。

这就是现代信息论的出发点。

二．信息论创始人—香农香农（Shannon）1948年也在《贝尔系统技术杂志》上发表了两百多页的长篇论文《通信的数学理论》；第二年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。

在这两篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题，并且开始创造性的定义了“信息”。

这两篇论文成了现在信息论的寞基著作。

而香农也一鸣惊人，成了这门新兴学科的奠基人。

克劳德·艾尔伍德·香农（Claude Elwood Shannon ）美国数学家，信息论的创始人。

第一章1．信息科学的奠基人香农(Shannon)在信息科学发展史上的主要贡献是创立了（B ）。

A) 控制论B) 狭义信息论C) 噪声理论D) 仿生理论2．掷一个由红、绿、蓝、白4种颜色标识的立方体，任一面朝上的概率相同。

任一面朝上这一事件所获得的自信息量是（ C ）。

A) 1/4 B) 1/2 C) 2 D) 03．数据、消息、信号、信息等是信息论中讨论的基本术语，以下叙述中，（D ）是错误的。

A) 数据是对客观实体的一种描述形式，是未加工的信息B) 消息需要进行译码（解读）后才能成为信息，消息中蕴含信息C) 信号是数据的电磁或光脉冲编码，是消息的运载工具D) 信息源发出的消息带有明显的确定性4．信息论发展分为三个阶段，（B ）不属于这三个阶段。

A) 狭义信息论B) 宏观信息论C) 一般信息论D) 广义信息论5．某信息源信号共有4种状态，每种状态出现的概率分别为1/4，则某信宿收到该信源的平均信息量（信息熵）是（ B ）。

A) 1 B) 2 C) 3 D) 46．扔一枚硬币，正反面出现的概率相等，任一面朝上这一事件所获得的自信息量是（C ）比特。

A) 1/2 B) 0 C) 1 D) -l7．信源发出的信号共有4种状态，4种状态的发生概率各为1/4，信源传给信宿的信息熵是（B ）比特。

A) 1 B) 2 C) 3 D) 48．有一等差数列，共8项。

已知相邻两项的差为2，第2项为4，求第3项的值。

答案中含有的信息量是（ B ）比特。

A)0 B) 1 C) 2 D) 39．一个村在512个村民里选举1人当村长，如果这些村民当选的概率相同，则“李四当选村长”这条信息携带的自信息量是（ C ）比特。

A) 3 B) 6 C) 9 D) 1210．信息熵是事件不确定性的度量，信息熵越小，说明不确定性（A ）。

A) 越小B) 不变C) 越大D) 不能确定11．从某种意义上说，信息技术是对特定人体器官的扩展，其中通信技术可以认为是对人体（B ）的扩展。

信息论的奠基人——香农——“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。

——这是数学家香农（Claude E. Shanon）在他的惊世之著《通信的数学理论》中的一句铭言。

正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。

——香农，1916年4月30日生于美国密执安州的加洛德。

在大学中他就表现出了对数理问题的高度敏感。

1938年，香农发表了著名的论文《继电器和开关电路的符号分析》，为计算机具有逻辑功能奠定了基础，从而使电子计算机既能用于数值计算，又具有各种非数值逻辑应用功能（比如用于设计字码锁等），使得以后的计算机在几乎任何领域中都得到了广泛的应用。

后来，他就职于贝尔电话研究所。

在这个世界上最大的通信公司（美国电话电报公司）的研究基地里，他受到前辈工作的启示，其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。

正是他们最早研究了通信系统的信息传输能力，第一次提出了信息量的概念，并试图用数学公式予以描述。

而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著，这就是上面提到的那篇《通信的数学理论》。

次年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。

在这两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。

两篇文章成了现代信息论的奠基著作。

而香农，也一鸣惊人，成了这门新兴学科的奠基人。

那时，他才不过刚刚三十出头。

曾获电气和电子工程师学会(IEEE)的诺贝尔奖等多项世界性科学大奖。

1956年当选美国科学院院士，并是多个学会的资深会员。

确实，他对人类的贡献超过了一般的诺贝尔获奖者。

第一章测试1.信息论的奠基人是（）。

A:香农B:哈特利C:阿姆斯特朗D:奈奎斯特答案:A2.下列不属于信息论的研究内容的是（）。

A:纠错编码B:信源、信道模型C:信息的产生D:信道传输能力答案:C3.下列不属于消息的是（）A:图像B:信号C:文字D:语音答案:B4.信息就是消息. （）A:对B:错答案:B5.信息是不可以度量的，是一个主观的认识。

（）A:对B:错答案:B6.任何已经确定的事物都不含有信息。

（）A:错B:对答案:B7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。

（）A:错B:对答案:B8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。

A:保密性B:可靠性C:认证性D:有效性答案:ABCD9.下列属于香农信息论的主要研究理论的是（）。

A:传输理论B:调制理论C:压缩理论D:保密理论答案:ACD10.信源编码的作用包含（）。

A:检错纠错B:提升信息传输的安全性C:数据压缩D:对信源的输出进行符号变换答案:CD第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信道B:信源C:信源编码器、信源译码器D:信道编码器、信道译码器答案:C2.对于自信息，以下描述正确的是（）A:以e为底时，单位是比特B:以10为底时，单位是奈特。

C:以2为底时，单位是奈特。

D:以2为底时，单位是比特。

答案:D3.信息熵的单位是（）A:无法确定B:比特每符号C:比特答案:B4.必然事件和不可能事件的自信息量都是0 。

（）A:错B:对答案:A5.概率大的事件自信息量大。

（）A:错答案:A6.互信息量可正、可负亦可为零。

（）A:错B:对答案:B7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。

（）A:错B:对答案:B8.信源X的概率分布为P(X)={1/2,1/3,1/6}，信源Y的概率分布为P(X)={ 1/3,1/2,1/6},则信源X和Y的熵相等。