下载文档原格式
复杂系统理论1 复杂系统理论概述二十世纪四十年代以来，系统科学得到了迅速的发展。
1945 年奥地利学者路德维希·冯·贝塔朗菲(Ludwig Von Bertalanffy)，发表《关于一般系统论》，宣告了一般系统论的创立。
贝塔朗菲认为，系统可以定义为相互作用着的若干要素的复合体。
系统有三项普遍和本质的东西:一是系统的整体性；二是系统由一些相互作用和相互依存的要素所组成；三是系统受环境影响和干扰，并和环境发生相互作用。
随后，克劳德·艾尔伍德·香农(Claude Elwood Shannon)于 1948年发表的《通讯的数学理论》，奠定了香农信息基本理论的基础。
1950 年，维纳(NobertWiener)出版了《控制论和社会》一书，着重论述了通信、法律和社会政策等与控制论的联系。
阿希贝(Ashby)1958 年发表的《控制论在生物学和社会中的应用》一文，认为可以运用非线性系统中的控制理论来研究社会系统。
但总的来说，那个时期的复杂性研究方法尚无实质性进展。
基于系统自身结构复杂性的状况可将系统简单系统、无组织的复杂系统、有组织的复杂系统三大类(韦佛(Weaver.W)，1958)。
复杂系统是相对于简单系统而言的。
有组织的复杂系统的特征是系统的元素数目很多，而且元素间存在着强烈的耦合作用，使得系统具有高度的组织性(牛文元1987；Wilson，A.G.1，997)。
另有专家认为，复杂系统是具有中等数目基于局部信息作出行为的智能性、自适应性主体的系统(约翰·L·卡斯蒂(John L.Casti)，1998)。
非线性复杂系统理论最早大概出现在 20 世纪 70 年代，它是一大批新兴学科的总称，它们的研究对象尽管不同，但具有共同的特征，即系统都是复杂非线性系统，或非线性复杂自组织过程。
2 复杂系统的一些公认观点著名英国理论物理学家霍金2000年曾说过一句名言:我认为，下个世纪将是复杂性的世纪，这句话高度概括了21世纪理论科学面临的任务是处理各种复杂系统，也就是我们要建立一套不同于过去的理论体系以面对21世纪的科学挑战。
信息论发展史内容摘要：信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。
现代信息论又是数学概率论与数理统计下年的一个分支学科。
现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。
作为信息论的奠基人克劳德·艾尔伍德·香农（Claude Elwood Shannon ），于1948年和1949年发表的两篇论文一起奠定了现代信息论的基础。
关键字：信息论(information theory）、克劳德·香农（Claude Shannon）、数学、信息与传输一．信息论概念及其研究发向信息论，顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。
信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。
这就是现代信息论的出发点。
二．信息论创始人—香农香农（Shannon）1948年也在《贝尔系统技术杂志》上发表了两百多页的长篇论文《通信的数学理论》；第二年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。
在这两篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题，并且开始创造性的定义了“信息”。
这两篇论文成了现在信息论的寞基著作。
而香农也一鸣惊人，成了这门新兴学科的奠基人。
克劳德·艾尔伍德·香农（Claude Elwood Shannon ）美国数学家，信息论的创始人。
数字时代之父克劳德·申农--------------------------------------------------------------------------------克劳德·艾尔伍·申农因病久治不愈而于年初去世，他是创造了信息时代的巨人之一。
约翰·冯诺伊曼和阿伦·图灵等人发明了计算机，让信息处理成为可能，而克劳德·申农则提出了现代的信息概念。
如果高科技行业仿照拉什摩尔山雕筑四大伟人的头像的话，克劳德·申农定会出现在其中。
完整的信息论科学肇始于申农1948年发表的一份论文，时年32岁的申农是贝尔实验室的一名研究员。
文中，他说明了怎样定义并准确量化一度还很模糊的信息概念，指出了各种信息媒介之间必然的联系：文字、电话信号、无线电波、影像等等通讯交流方式，都能够编码为一种二进制的通用语言——比特，这也是“比特”（ｂｉｔ）一词第一次出现在文字上。
申农认为，信息一旦数字化，将实现无差错的传输。
申农在概念上实现的巨大飞跃直接引致了ＣＤ技术的发展和成熟，他所描绘出的是一幅“数字时代的蓝图”。
发现的乐趣, 对申农来说，他所做的一切都应充满乐趣，他的研究和发现不过是一种获取乐趣的方式。
“克劳德喜欢大笑，喜欢构想那些反传统的事物。
”贝尔实验室退休的数学家大卫·斯莱比安说道。
50年代，斯莱比安曾是申农的同事。
数学对于申农来说，就像魔术师手里的戏法道具。
斯莱比安说：“他常常会转上一圈然后突然从一个你想不到的角度解出答案。
”要说起戏法，申农的确有个保留节目——夜里骑着独轮车穿过贝尔实验室长长的走廊，手里还一边玩着杂耍。
在家里的时候，申农把空余时间都花在了制作各式各样奇形怪状的装置上，比如：用罗马数字来进行计算的“Ｔｈｒｏｂａｃ”计算器，能从迷宫里找到出路的机器鼠“Ｔｈｅｓｅｕｓ”。
还有“极端机器”，这是一个在侧面上安置了一个巨大开关的盒子。
信息熵1 概念信息是个很抽象的概念。
人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。
比如一本五十万字的中文书到底有多少信息量。
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。
信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。
信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。
Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。
信息熵单位是BIT 。
2 计算公式以英文为例看如何计算信息熵。
我们都知道英文使用26个字母，如果我们把字母在所传输信息中出现的频率看做是随机的，而且具有同样的概率。
那么要传输26个字母中的任何一个就至少需要4个多BIT 才够（4位最大是16个，5位最大是32个，26个字母介于两者之间）。
当然，每个字母在传输信息中出现的概率不可能一样，比如 A 是1/16： B 是1/13： …Z 是1/126：（它们的和是1），那么通过计算可以得出英文的信息熵是4.03（根据参考文章介绍的数据）。
2n = X ： 其中 X 就是传输信息所需要的字符集的大小减去它的冗余度。
公式： ()()log2i H P Pi =-∑信息熵P i ：为每个字母在信息中出现的概率： 计算公式并不复杂。
取以2为底的对数的道理也很简单，因为如果： 2n = X 的话，那么logX = n ： 所以可以看出所谓信息熵就二进制的字符集在去掉冗余度后的二进制编码位数。
冗余度是通过统计每个字符出现概率获得的。
英文的信息熵是4.03，而计算机最初设计时的ASCII 码是8位的，留有足够的空间。
柯克霍夫原则由奥古斯特·柯克霍夫在19世纪提出：密码系统应该就算被所有人知道系统的运作步骤，仍然是安全的。
克劳德·艾尔伍德·香农有句近似的话「敌人知道系统」，称为香农公理。
它和传统的以保密密匙和加密方法的密码学想法不同。
系统必须可用，非数学上不可译码。
系统不一定要保密，可以轻易落入敌人手中。
密匙必须可以不经书写的资料交换和记忆，且双方可以改变密匙。
系统可以用于电讯。
系统可以转移位置，它的功能必须不用经过几个人之手才可达到。
系统容易使用，不要求使用者的脑力过份操劳或有很多的规则。
布鲁斯·施奈尔将这个想法延伸，认为除了密码系统之外，任何保安系统都是这样：试图保密一些东西，都会制造了失败的根源。
埃里克·斯蒂芬·雷蒙则将它引伸到开放源代码软件，指软件设计不假设敌人会得到源代码，已经不可靠，因此，「永无可信的封闭源码」。
反过来说，开放源码比封闭源码更安全。
意思是说：
如今的密码已经分成了两大类：公钥密码和私钥。
IT简史克劳德·香农ClaudeElwoodShannonIT简史 | 埃达·洛芙莱斯 Ada LovelaceIT简史 | 赫尔曼·霍尔瑞斯 Herman HollerithIT简史 | 乔治·布尔 George BooleIT简史 | 万尼瓦尔·布什 Vannevar BushIT简史 | 图灵测试 Turing test1916.4.30—2001.2.24美国数学家、电子工程师和密码学家，被誉为信息论的创始人。
是爱迪生的远亲戚。
除了学术研究，香农爱好杂耍、骑独轮脚踏车和下棋。
香农发明了很多用于科学展览的设备，比如火箭动力飞行光盘、一个电动弹簧高跷和一个喷射小号。
香农的办公桌上放着一个他称之为“终极机器”的盒子。
这是香农众多好玩的发明之一，是根据人工智能研究的先驱、数学家马文·闵斯基提出的想法而做出来的。
这个盒子外表平淡无奇，只是在一侧有一个开关，弹一下开关，盒盖就会打开，一个机械手会伸出来；将开关复原，机械手就缩回盒子。
『成就』1936年，毕业于密歇根大学并获得数学和电子工程学士学位。
1937年，21岁的香农是麻省理工学院的硕士研究生，他在其硕士论文中提出：“将布尔代数应用于电子领域，能够构建并解决任何逻辑和数值关系。
”被誉为有史以来最具水平的硕士论文之一。
1940年，获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。
1941年，他加入贝尔实验室数学部，工作到1972年。
1937年，在贝尔实验室，香农看到了电话系统电路的强大功能。
这些电路使用电子开关来安排电话通话路线和平衡通话负载。
香农便将这些电路的工作原理和布尔在90年前制定的逻辑系统相互融合在一起。
他发现电路可以使用不同的通断开关组合来执行这些逻辑运算，便有了那篇著名的《继电器与开关电路的符号分析》继电器就是用高低电平来等同0,1，进而组合成'与'‘或’逻辑判断门。
信息论之父香农，20世纪伟大的科学家，一个理论改变了一个时代信息论的奠基之作1687年7月5日，牛顿的《自然哲学的数学原理》首次出版发行，引爆了整个学术圈，从此奠定了他的江湖地位，而这本书也奠定了现代科学的范式。
1948年，香农发表了一篇英文名为《A Mathematical Theory of Communication》的论文，翻译过来就是《通信的一个数学原理》，这篇论文引起了巨大的轰动。
要知道一篇专业的学术论文被引用1000次已经是非常了不起了，而香农的这篇文章至今已经达到了110536次，可见其在学术圈的江湖地位。
几年后，这篇论文要成书发行，已经更名为《The Mathematical Theory of Communication》，翻译过来就是《通信的数学原理》。
这就意味着它已经被认为是信息论的奠基之作，这就好比《自然哲学的数学原理》在物理学界的起到的作用，而香农之于信息论，就像牛顿之于物理学。
那这个香农是何许人？今天，我们就来聊一聊：香农和他的《通信的数学原理》。
震惊世界克劳德·艾尔伍德·香农1916年出生于美国密西根州的盖洛德镇。
当时正值电气时代蓬勃发展，电报十分发达，不过电话还尚未普及，电话的价格还相对比较昂贵。
于是，很多人把牧场的刺铁丝网彼此相连，并自己安装电话送话器，在很小的范围内实现了通话。
香农就是在这样的氛围下长大的，他从小就喜欢发明和玩耍，尤其爱摆弄一些机械装置，他尤其钟爱摩尔编码，常常利用编码发送讯息。
后来，16岁的他进入了密歇根大学就读电气工程和数学。
1936年，20岁的香农辗转来到麻省理工学院作为研究助理，跟随当时的工程院院长万内瓦尔·布什。
那个时候，香农主要做的是操作一台数百吨重的机器，这台机器叫做：微分分析机。
在每天繁复的工作中，香农发现：机器中开关的切换，本质上并不是在传输电流，而是在传输状态。
或者说，也可以理解成是在传输一个事实，或者一个信息。
信息论发展史内容摘要：信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。
现代信息论又是数学概率论与数理统计下年的一个分支学科。
现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。
作为信息论的奠基人克劳德·艾尔伍德·香农（Claude Elwood Shannon ），于1948年和1949年发表的两篇论文一起奠定了现代信息论的基础。
关键字：信息论(information theory）、克劳德·香农（Claude Shannon）、数学、信息与传输一．信息论概念及其研究发向信息论，顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。
信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。
这就是现代信息论的出发点。
二．信息论创始人—香农香农（Shannon）1948年也在《贝尔系统技术杂志》上发表了两百多页的长篇论文《通信的数学理论》；第二年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。
在这两篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题，并且开始创造性的定义了“信息”。
这两篇论文成了现在信息论的寞基著作。
而香农也一鸣惊人，成了这门新兴学科的奠基人。
克劳德·艾尔伍德·香农（Claude Elwood Shannon ）美国数学家，信息论的创始人。
香农及香农定理克劳德·艾尔伍德·香农（Claude Elwood Shannon ，1916年4月30日—2001年2月26日）是美国数学家、信息论的创始人。
1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。
香农提出了信息熵的概念，为信息论和数字通信奠定了基础。
主要论文有：1938年的硕士论文《继电器与开关电路的符号分析》，1948年的《通讯的数学原理》和1949年的《噪声下的通信》。
香农第一定理(可变长无失真信源编码定理)设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为B=PK1B1+PK2B2+…+PN^k BN^k当K趋于无限大时，B和H(X)之间的关系为B/K=H(X)(K趋近无穷）香农第一定理又称为无失真信源编码定理或变长码信源编码定理。
香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。
香农第二定理（有噪信道编码定理）有噪信道编码定理。
当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的集合中(含有r^N个长度为N的码符号序列)，找到M （(M<=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。
公式：注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。
香农说，要有熵。
信息时代由此开启……作者：月宝、晓桦2016年四月三十日是克劳德·艾尔伍德·香农（Claude Elwood Shannon）的一百周年诞辰。
虽然香农被学术届尊为信息时代之父，听说过这位科学巨人名字的想必比知道宋仲基的人少得多。
不过不管你们信不信，要是没有香农，到今天咱们应该还没有见过手机或Internet，也没有用过微信或Facebook，更不能在网上看韩剧。
香农是美国数学家、信息论的创始人。
1948年，香农发表了《通信的数学理论》文章，提出了信息熵的概念，并创建了信息论。
这篇文章奠定了香农“信息论之父”的地位。
后来，香农在1949年继续发表了《噪声下的通信》。
几十年来，人类科技在数字化、智能化、网络化等的推动下经历了一波又一波通信、信息革命。
数十年之后，在信息流、物质流的社会中，香农的论著依然闪烁着智慧之光，并将照耀人类社会今后的数个世纪。
在学术圈子里，人们往往对香农高山仰止。
南加州大学（University of Southern California) 电子工程系教授巴特·嗑死磕（Bart Kosko）说：爱因斯坦相对论之革命性在于它颠覆了之前的牛顿力学，而香农信息论之革命性在于它前无古人——香农对信息的认知开人类之先河，没有什么挡在前面需要被颠覆的；香农提出了全新的数学工具，就是所谓的信息论，并用这个工具回答了人类从未思考过的问题。
在这个意义上，香农的发现像牛顿的引力定律一样基本。
克劳德·艾尔伍德·香农（Claude Elwood Shannon ），1916年4月30日—2001年2月26日。
1948年，香农（Claude Shannon）在贝尔实验室发表论文《通信的数学理论》。
文章中提出的数学工具构成了信息论的骨架。
香农证明了信源编码的极限是信源的熵，信道编码的极限则是信道容量。
倚天剑一出，天下皆惊。
而为达到香农预测的信道编码的极限——信道容量，人类却花费了半个世纪挣扎。
在30岁出头的时候，他仅用两篇论文解决了许多悬而未决的问题，阐明了通信的基本问题，给出了通信系统模型，提出了信息量数学表达式、解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。
他提出的信息论向各个学科发起了冲击，最终的研究规模像雪球一样越滚越大，几乎触及了一切领域，他，就是人称信息学创世神的克劳德·艾尔伍德·香农。
我们现在能用滴滴打车、能刷手机听歌追剧，都欠香农一声感谢。
作为信息学开创者，这个信息时代的一切科技——近到电脑、手机，远到5G、AI、大数据都通通离不开他的理论。
有人这样形容香农，作为信息学的创世神，在创世之日就宣布了这个学科的终点。
后来者的努力，无异于在他的前沿理论上做脚注，并一遍遍地证明他说得没错。
缘起于专业的“双修”1916年4月30日香农出生在美国密歇根州的小城盖洛德。
比起传奇的后半生，他的童年略显平凡，除了爱鼓捣机械之外平平无奇。
他的父亲沉迷社交，一天下来都没有什么时间照顾他，所以小香农就和小伙伴们自由地搜罗大人们不要的机械器材。
小香农就靠着这些捡来的零件，在邻居家的谷仓搭了一台升降机。
照这样下去，小香农本该成为一个草根发明家，但好在他还有个姐姐。
她姐姐有事没事就爱找小香农解数学题，小香农自然就对数学产生了浓厚的兴趣。
等香农上了大学，再也没有人能阻止他对机械的向往了。
他踏上了同时攻读数学和工程学两个专业的旅程，当时的专业划分没现在这么细，工程学和数学更像是针尖对麦芒：数学以抽象为美，工程学则是以应用为前提，因此两边谁也看不惯谁。
这让香农在年仅20岁时就成了另类的“双修选手”，并前往麻省理工学院师从范内瓦·布什攻读电子工程学硕士。
正是在布什的引导下，香农逐渐成为“一人开创一学科”的天才。
而布什这位老师比香农还狠，仅学位就有6个。
参加过一战的布什，当时正奉命研发更先进的计算机，用于美军轰炸机瞄准和火力控制系统。
相比现代计算机而言，当时的计算机不仅算得慢，而且只能计算特定的问题。
