下载文档原格式
目录摘要： (1)Abstract： (2)前言 (3)一、信息的度量 (4)二、平均互信息 (6)三、连续信道 (9)四、无失真信源编码 (10)五、总结 (12)参考文献： (13)香农信息论的基本理论探究【摘要】：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。
人类每时每刻都在不停的接受信息，传播信息，以及利用信息。
从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。
而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。
信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。
【关键字】：平均自信息信道容量信源编码霍夫曼码Shannon, the basic theory of information theory study Student majoring in Information and Computing Sciences LilongTutor Yu JiajuAbstract：Since the human being come out, the information has been existence in the world. The universe, birds and beasts, and the live style of the mankind all can’t live out of the production and transmission of the information. The human being receives the massage, transmits the information and uses the information all the time. From the papermaking in the Western Han Dynasty to the printing of the west, and the computer now, the information technology in human history developed with the productive forces. But Information Theory’s appearance is far behind the emergence of the information. It is raised in modern times and formed a complete theoretical system. The main basic theory of information includes: the definition and measurement of information; the all kinds of discrete and continuous source of information entropy; channel capacity of memorial, memory of discrete and continuous channels; lossless source coding theorem.Keyword:The average self-information Channel capacity Source Coding Huffman code前言信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。
香农生平读后感读完香农的生平，就像是经历了一场超级酷的科技冒险之旅。
香农这个人啊，简直就是个天才中的天才。
他就像一个神秘的魔法师，在信息的世界里挥舞着魔杖。
你想啊，在他之前，信息就像是一团乱麻，人们可能知道这里有点信息，那里有点消息，但是完全不知道怎么去把这些信息给捋顺了。
香农一出现，就像是给这个混乱的信息宇宙带来了秩序。
他搞出的信息论，乍一听，感觉特别高大上，离我们普通人很遥远。
但其实呢，就好比他给信息这个调皮的小怪兽做了个笼子，还告诉大家这个笼子怎么搭，怎么把信息关进去，又怎么能让信息在笼子里乖乖听话。
比如说我们现在每天都在用的手机、电脑，信息在这些设备里跑来跑去，没有乱套，很大程度上就是香农的功劳。
要是没有他的理论，估计我们的手机就会变成一个乱发信号、接收乱七八糟东西的“捣蛋鬼”。
香农的一生也特别有趣。
感觉他就像一个永远充满好奇心的小孩，对什么都感兴趣，而且还特别执着。
他在研究的时候，肯定就像一个探险家在未知的丛林里探索，每发现一个新的理论或者原理，就像是找到了宝藏一样。
他不在乎这个过程有多艰难，就一门心思地想要解开信息的奥秘。
从他的生平里，我还感受到一种特别纯粹的热爱。
他不是为了出名或者赚钱才去研究信息论的（虽然他最后确实很出名啦），他就是单纯地对信息这个东西着迷。
这种热爱就像一团火，能够燃烧掉所有的困难和阻碍。
我就想啊，要是我在生活中也能像他一样，对自己喜欢的事情有这么强烈的热爱和执着，那得多酷啊。
而且香农还特别低调呢。
他不像有些科学家，有点成果就到处宣扬。
他就默默地在自己的小天地里做研究，等成果出来了，就像一颗炸弹一样，在科学界引起了巨大的轰动。
这就好比一个武林高手，平时都在深山里闭关修炼，一出来就震惊江湖。
读完他的生平，我觉得自己看待这个世界都有点不一样了。
现在看到手机上的信号格、网络的图标，就会想起香农这个大神。
他就像一个灯塔，在信息的海洋里给后来的人照亮了道路。
我也明白了，一个人的奇思妙想真的可以改变整个世界，只要他有足够的智慧、热爱和执着。
码农⿐祖—⾹农宽带、⼿机信号都是基于他的理论研究出来的。
他参与研究的⾹农-韦弗定律⼜是传播学的经典。
凡此种种，我们不禁感叹他作为⼈类智慧的极致，所以，向⼤佬献上膝盖。
克劳德·艾尔伍德·⾹农克劳德·艾尔伍德·⾹农（Claude Elwood Shannon ，1916年4⽉30⽇ - 2001年2⽉24⽇）是美国数学家、信息论的创始⼈，是世界上第⼀个使⽤bit这个词的⼈。
克劳德·艾尔伍德·⾹农和约翰·冯·诺依曼、霍华德·艾肯、艾伦·麦席森·图灵等计算机⿐祖是同时代⼈。
The best is yet to come. We've only scratched the surface. Computers can only dowhat we tell them now, but it will be different in the future.--- Claude Elwood Shannon劳德·艾尔伍德·⾹农 1916年4⽉30⽇出⽣于美国密歇根州的 Petoskey，是爱迪⽣的远亲。
1936年毕业于密歇根⼤学并获得数学和电⼦⼯程学⼠学位，毕业后去⿇省理⼯学院（MIT）范内⽡·布什（Vannevar Bush）名下从事模拟计算机⽅⾯的研究。
⾹农的⿇省理⼯学院硕⼠论⽂《继电器与开关电路的符号分析》（A Symbolic Analysis of Relay and Switching Circuits），被称为20世纪最重要的论⽂。
在这篇论⽂中，22岁的⾹农展⽰了如何利⽤继电器和开关的电⼦电路来实现19世纪数学家乔治布尔的逻辑代数。
将布尔代数的「真」和「假」和电路系统的「开」和「关」对应起来，⽤「0」和「1」表⽰。
1940年获得⿇省理⼯学院（MIT）数学博⼠学位和电⼦⼯程硕⼠学位。
以研发为乐，他是现代信息论之父最近读了一本James Gleick的科学史著作《信息：一段历史、一个理论、一股洪流(The Information: a history, a theory, a flood)》，突然发现，今年的4月30日是被誉为现代信息论之父──克劳德·艾尔伍德·香农(Claude Elwood Shannon)的百岁冥诞；这位是数学家也是电子工程师的前辈，生平故事令人难忘。
不同于这几年我们总在新闻媒体上看到，因为有不错的点子而被创投看上、幸运获得一大笔资金创业的刚出校园年轻人，香农真正是个“天才”；他曾打造一套训练用计算机销售给想要学习如何使用的商人，但他其实从来没有创办过公司、也不曾靠“一招半式”大赚一笔。
香农丰富的构想不只对计算机与通讯领域影响深远，也对分子遗传学(molecular genetics)等其他科学研究领域有所启发。
香农在电子与通讯领域最为人所知的成就，是1949年出版、由1948年发表之《通信的数学理论(Mathematical Theory of Communication)》论文所延伸的同名著作；该理论对信号处理的基础限制提出了因应之道，并提及压缩数据与进行可靠的储存、通信。
而香农所带来的影响，几乎遍及当代运算与通信技术的各个方面。
笔者第一次认识香农这个名字以及他的学术成果，是在大学的电子工程与信息科学课堂上；当时英特尔(Intel)才刚发布4040系列处理器，我们当时正致力于利用香农的噪声干扰信道编码定理(noisy channel coding theorem)，找出最适合其中信息不易与噪声区分的某个信号之纠错方法以及压缩程度。
不过在我读过上述的Gleick著作，我才知道香农的信息论有多大的影响力，以及香农在开发自然语言处理技术、密码学、神经生物学、分子遗传学、量子运算以及图形侦测(pattern detection)等等众多研究领域所扮演的关键角色。
数字时代之父克劳德·申农--------------------------------------------------------------------------------克劳德·艾尔伍·申农因病久治不愈而于年初去世，他是创造了信息时代的巨人之一。
约翰·冯诺伊曼和阿伦·图灵等人发明了计算机，让信息处理成为可能，而克劳德·申农则提出了现代的信息概念。
如果高科技行业仿照拉什摩尔山雕筑四大伟人的头像的话，克劳德·申农定会出现在其中。
完整的信息论科学肇始于申农1948年发表的一份论文，时年32岁的申农是贝尔实验室的一名研究员。
文中，他说明了怎样定义并准确量化一度还很模糊的信息概念，指出了各种信息媒介之间必然的联系：文字、电话信号、无线电波、影像等等通讯交流方式，都能够编码为一种二进制的通用语言——比特，这也是“比特”（ｂｉｔ）一词第一次出现在文字上。
申农认为，信息一旦数字化，将实现无差错的传输。
申农在概念上实现的巨大飞跃直接引致了ＣＤ技术的发展和成熟，他所描绘出的是一幅“数字时代的蓝图”。
发现的乐趣, 对申农来说，他所做的一切都应充满乐趣，他的研究和发现不过是一种获取乐趣的方式。
“克劳德喜欢大笑，喜欢构想那些反传统的事物。
”贝尔实验室退休的数学家大卫·斯莱比安说道。
50年代，斯莱比安曾是申农的同事。
数学对于申农来说，就像魔术师手里的戏法道具。
斯莱比安说：“他常常会转上一圈然后突然从一个你想不到的角度解出答案。
”要说起戏法，申农的确有个保留节目——夜里骑着独轮车穿过贝尔实验室长长的走廊，手里还一边玩着杂耍。
在家里的时候，申农把空余时间都花在了制作各式各样奇形怪状的装置上，比如：用罗马数字来进行计算的“Ｔｈｒｏｂａｃ”计算器，能从迷宫里找到出路的机器鼠“Ｔｈｅｓｅｕｓ”。
还有“极端机器”，这是一个在侧面上安置了一个巨大开关的盒子。
《信息论与编码论文》学院：信息科学与工程学院班级：电子0902班学号：20092712姓名：张延相信息论发展简史与信息科学信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。
1.信息论形成的背景与基础信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
人们公认的信息论的奠基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农，他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。
近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。
随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。
通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。
电的通信系统(电信系统)已有100多年的历史了。
在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。
这是因为通信系统对人类社会的发展，其关系实在是太密切了。
日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。
例如，当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。
1876年，贝尔(A．G．BELL)又发明了电话系统。
1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。
接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。
■文/柳 堤 李 政 王国强从原始的谈话到后来的书面文字，人们的生活需要通信。
19世纪电报、电话出现以后，人类进入“电通信”时代，通信发生了根本性的变化，通信速度如“闪电”一样实时，通信空间可跨越高山大河、沙漠海洋。
随着通信技术的快速发展和第二次世界大战的迫切需求，人们期待用一种理论来统一解释通信工程中取得的各种成果，并解决通信工程中的可靠性和有效性等问题。
通信的可靠和高效是一对相互矛盾的现实要求，但可靠往往是第一位的，信息论就是在这样的背景下开启了这两个方面的定量研究。
通信定量关系的建立通信问题的定量研究就是用数学方法建立一个模型，找出最基本的定量关系。
香农认为，各种通信形式其过程可分为信源、发送器、信道、接收器和信宿等5个部分，通信的基本问题可归结为精确地或近似地在接收端重现发送端的消息（message ）。
为使通信的问题得到进一步简化，香农忽略了消息的具体内容，只考虑其形式，把通信中存在的语义问题和技术问题进行区别，从而得到了通信的一系列数学结论。
1948年，香农在《贝尔系统技术学报》上分两期发表了论文《通信的数学理论》，标志着现代信息论的正式诞生。
我们已经生活在一个数字时代，无论是量子信息、人工智能、大数据、区块链等前沿科技创新领域，还是网络、电脑、电话、手机等人们的日常生活工具，甚至是社区、城市、国家治理，数字化无处不在。
数字领域的出现重新定义了我们创新、交流和体验世界的方式，这一切都可追溯到美国数学家香农（Claude E. Shannon）的信息论，可以说在我们所使用的电子设备中都留下了它的足迹。
●信息的数学定义在此之前，人们认为通信过程与电力工程本质上是一样的，信源发出的消息可看作一种能展开成傅里叶级数或者傅里叶积分的时间函数。
但是，香农认为信源发出的消息应该看成随机序列。
例如，英文电报出现的消息可视作在字母表中一次一个地挑出字母（包括空格），字母出现的概率不相等，而后面字母出现的概率受前面字母的影响而发生变化。
香农的贡献及其对后世的影响——香农百年诞辰纪念关键词：香农 信息论张卫国1 高新波1 蒋洪波2 1西安电子科技大学2华中科技大学克劳德·艾尔伍德·香农(Claude Elwood Shan-non)生于1916年，卒于2001年。
今年是香农诞辰一百周年。
为了纪念这位伟大数学家和信息论的创始人，我们以香农的生平为线索，介绍他不平凡的一生和他对世界的影响。
香农于1916年4月30日诞生于美国密歇根州(Michigan)皮托斯基(Petoskey)的盖洛德(Gaylord)小镇。
孩童时代的香农性格比较内向，没有任何迹象能够表明他未来会是一位伟大的科学家。
香农的父母在科学方面对香农似乎没有产生多大的影响，但香农的祖父是一位发明家，发明过许多农业机械和洗衣机，对香农在科学研究方面的影响比较深远。
大发明家爱迪生(Thomas Alva Edison)是香农的远房亲戚，也是香农孩童时代的偶像。
中学时代的香农兴趣爱好广泛，参加了镇上的乐队，是中音萨克斯号吹奏者。
那时的香农对各类机械装置非常感兴趣，对这些装置如何运转具有很强的好奇心。
1932年，16岁的香农从盖洛德高中毕业，进入密歇根大学学习，并于1936年同时获得数学学士学位和电子工程学士学位。
在数学和工程领域中的双重兴趣一直贯穿于他的整个职业生涯。
大学毕业后的香农在麻省理工学院注意到公告栏上张贴的招聘操作微分分析仪助理研究员的广告。
香农申请到这个职位，并在职攻读硕士学位。
香农为什么申请这个职位呢？这源于他对布尔逻辑维持一生的兴趣。
当时的微分分析仪其实是一种早期的模拟计算机，它通过上百个继电器组成的结点电路控制运算，可以求解高阶微分方程。
香农在密歇根大学时，曾学过符号逻辑和布尔代数，这成为人物传记他后来研究二元系统的数学理论基础。
中国人早就注意到二元现象的普遍性，并发展出阴阳哲学体系。
但遗憾地是，中国人从未用数学的观点去形式化描述二元现象，把对这一对象的认识模糊在玄学，而非精确在科学。
信息论及其应用摘要信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门应用数学学科，能够运用概率论和数理统计的方法来研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题。
本文主要介绍信息论的一些基本知识以及它在数据压缩、密码学、统计及信号处理中的应用。
关键字：信息论三大定律应用一信息论的产生及发展信息论是20世纪40年代由当代伟大的数学家、美国贝尔实验室杰出的科学家香农提出的，他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。
信息论有狭义和广义之分。
狭义信息论即香农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。
广义信息论又称信息科学，是以信息为主要研究对象，以信息及其运动规律为主要研究内容，以信息科学方法论为主要研究方法，以扩展人的信息器官的功能为主要研究目标的一门新兴的横向科学。
它把各种事物都看作是一个信息流动的系统，通过对信息流程的分析和处理，达到对事物复杂运动规律认识的一种科学方法。
它的特点是撇开对象的具体运动形态，把它作为一个信息流通过程加以分析。
信息论与编码研究的是整个通信的最基本的问题，可以说信息论是我们专业的大纲，从香农1948年发表《通信中的数学原理》到现在60余年的时间，信息论对整个行业的发展有着不可替代的指导意义。
信息论中最著名的是香农的四大定理（国内一般称三大定理），第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理；第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一；第三定理有损信源编码定理解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理的界之下得出的；第四定理信源信道分离定理，解决了信源编码和信道编码能够分开来解决的问题，所以现在做信源编码的可以是一部分人，做信道编码的可以是另一部分人。
香农信息论及数字通信之父数字通信和信息论的发展是当代科技进步的重要标志，而这两项领域的基石可以追溯到同一个人——克劳德·香农博士。
作为“信息论之父”，香农博士的理论和发现为现代数字通信技术铺平了道路。
克劳德·香农（Claude Shannon）是二十世纪最杰出的数学家和工程师之一。
他在1948年发表了一篇具有里程碑意义的论文“A Mathematical Theory of Communication”（通信的数学理论），标志着信息论的诞生。
在这篇论文中，他首次提出了一系列有关信息量、熵、数据压缩和错误纠正的基本概念，为后续的数字通信奠定了基础。
香农博士的信息论主要围绕三个核心概念：信息量、熵和数据压缩。
信息量是用来衡量信息的不确定性的量度，熵则是信息量的期望值。
这两者之间的关系揭示了信息的不确定性和随机性之间的。
而数据压缩则是利用这种不确定性进行的，通过更有效的编码方式，可以在不失真的情况下压缩数据的大小。
香农博士的工作不仅对通信理论产生了深远影响，还对实际应用产生了重大影响。
他的理论为现代数字通信技术的发展提供了指导，包括数字、数字电视、数字音频、网络通信和数据存储等。
同时，他的理论还为密码学和信息安全提供了基础，促进了现代加密技术的发展。
香农的信息论是现代通信和信息科技的基础，他的理论已经影响了我们生活的方方面面，从我们手中使用的手机到云计算技术，再到物联网设备，都离不开香农的信息论。
他被公认为数字通信和信息论的奠基人，对于当代科技的发展做出了无法估量的贡献。
香农博士不仅是一位伟大的科学家，他还是一位极富创新精神的工程师。
他的工作精神激励着一代又一代的科学家和工程师去探索、去创新，为人类的科技进步做出了卓越的贡献。
克劳德·香农博士的信息论是现代数字通信技术的基石，他的理论和工作对当代科技的发展产生了深远的影响。
他被誉为“信息论及数字通信之父”，对于人类科技进步的贡献无法估量。
信息论之父—香农20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。
克劳德·香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一。
他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。
人们尊崇香农为信息论及数字通信时代的奠基之父。
确实，他对人类的贡献超过了一般的诺贝尔获奖者。
回顾20世纪的信息革命风暴，经他阐明的信息概念、连同“比特”这个单位已经深入人心，成为今天日常生活都离不开的词汇。
家庭背景克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。
在Gaylord小镇长大，当时镇里只有三千居民。
父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。
母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。
他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。
香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。
此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。
香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。
在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。
他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。
后来身边还有两个可爱的孙女。
2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。
贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。
攻读学位1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。
1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。
当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。
于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。
哈佛大学的伽登纳(Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。
”1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Genetics》(理论遗传学的代数学)。
这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。
在读学位的同时，他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。
这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。
1941年香农发表了《Mathematical theory of the differential analyzer》(微分分析器的数学理论)，他写道：“大多数结果通过证明的定理形式给出。
最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。
还给出了一些注意事项，给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。
”特殊癖好大家从照片上看，可能以为克劳德·香农是一位文质彬彬的书生。
事实上，他有许多爱好，特别令人难以置信的是香农可以熟练地玩一套杂技。
不是在舞台上，而是在日常生活中，例如在贝尔实验室的走廊里。
从MIT到香农宽敞的住宅只有几英里。
他的住宅里放满了各种乐器，诸如有5台钢琴、30多种其他乐器，从短笛到各种铜管乐器应有尽有。
童年时代，他热衷于装无线电收音机、练莫尔斯电报码、搞密码学等。
在Gaylord 上中学时他还当过Western Union 的信使。
在他的玩具室里，有一个杂耍杰作，由3个丑人一起玩11个环、7个球和5个棍子，通过钟表机构驱动。
可见当他还是孩子时就喜爱杂耍，香农的一生都迷恋于平衡与控制稳定性。
他的平衡兴趣与能力是十分有名的，一个脍炙人口的故事是他经常骑着独轮车(unbicycle)、手里抛着三个球来到贝尔实验室的大厅。
有时他还踩着高跷骑摩托，使同事害怕不已。
他发明过有两个座位的独轮车，不过恐怕没有人敢与他共享。
他还把独轮车造成偏离地心的，骑在上面忽高忽低，像鸭子行走似的。
他设计并建造了下棋机器、迷宫老鼠(左图)、杂耍器械以及智力阅读机。
下国际象棋的机器包括用3个指头能抓起棋子的手臂、蜂鸣器以及简单的记录装置。
他还建造了供孩子们到湖边玩耍的升降机，长约600英尺，设有座位。
这些活动表明了香农的主张，即好奇心比实用性对他的刺激更大。
他的名言是：“我感到奇妙的是事物何以集成一体。
”参加工作1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。
1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。
人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。
他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。
他总是关起门来工作。
但是，如果你要找他，他会非常耐心地帮助你。
他能立刻抓住问题的本质。
他真是一位天才，在我认识的人中，我只对他一人使用这个词。
”香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。
这篇论文扩展了麦克马洪(Percy A. MacMahon，1854-1929)1892年在Electrician上发表的论文理论。
1948年则创立了信息论(information theory)。
在漫长的岁月，他思考过许多问题。
除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。
需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者(这使笔者想到比他大4岁的图灵博士)。
他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。
1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论)，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。
信息理论1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。
论文由香农和威沃共同署名。
前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。
后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。
顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。
这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。
这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。
此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。
今天这已司空见惯，但在当时是相当新鲜的。
他建立的信息理论框架和术语已经成为技术标准。
他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。
香农考虑的信息源，产生由有限符号组成的词。
它们通过信道进行传输，每个符号开销有限的信道时间。
这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。
在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。
按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。
通信的数学理论是香农在数学与工程研究上的顶峰。
他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。
香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。
这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。
后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。
他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。
熵的概念香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。
熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。
信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。
这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。
信息熵大，意味着不确定性也大。
因此我们应该深入研究，以寻求中文信息处理的深层突破。
不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。
众所周知，质量、能量和信息量是三个非常重要的量。
人们很早就知道用秤或者天平计量物质的质量大小。
然而，我们关于热、燃料、功与能的计量问题，迟至19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。
能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。
然而，关于文字、数字、图画、声音的知识已有几千年历史了。
但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。
20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。
1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。
如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。
从这些词里取了特定的一个就对应一个信息量I。
哈特利建议用N log D这个量表示信息量，即I=N log D 。
这里的log表示以10为底的对数。
后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。
