信息论的基本思路

⏹信息论的基本思路
通信是人类活动中最为普遍的现象之一，信息的传递与交换是时时处处都发生着的事情。

在信息的传递与交换中，人们当然希望能够又多、又快、又好、又经济地传递信息。

那么很自然地会出现这样一个问题：什么是信息传递的多快好省呢？怎样来衡量这种多快好省呢？怎样来判断某种通信方法的优劣呢？这就需要建立一种合理的定量描述信息传输过程的方法，首先是定量描述和度量信息的方法。

1948年，美国一位数学家克劳特·香农(C.E．Shannon)发表了一篇著名的论文《通信的数学理论》。

差不多与此同时，美国另一位数学家诺伯特·维纳也发表了题为《时间序列的内插、外推和平滑化》的论文以及题为《控制论》的专著。

在这些著作中，他们分别解决了按“通信的消息”来理解的信息(狭义信息)的度量问题，并得到了相同的结果。

香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。

香农信息理论具有崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。

因此，它一出现就在科学界引起了巨大的轰动，许多不同领域的科学工作者对它怀有浓厚的兴趣，并试图争相应用这一理论来解决各自领域的问题．从此，信息问题的研究，进入了一个新的纪元。

香农信息理论的基本思路，大致可归结为以下三个基本观点：
⏹一、非决定论观点
我们知道，在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。

这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。

因此，只要知道了它的原因，就可以唯一地决定它的结果；反过来，只要知道了它的结果，也就可以唯一地决定它的原因。

或者，只要知道了某个事物的初始条件和运动规律，就可以唯一地确定它在各个时刻的运动状态。

这种观点只承认必然性，排斥、否认偶然性。

根据通信问题研究对象的特点，信息理论按照非决定论的观点，采用了概率统计的方法，作为分析通信问题的数学工具，因而比以往的研究更切合实际、更科学、更有吸引力。

⏹二、形式化假说
可提出如下的假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息来说是次要因素。

因此，在描述和度量作为“通信的消息”来理解的狭义信息时，可以先把语义、语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素。

⏹三、不确定性
对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形：一是自己有某种形式的信息要告诉对方，同时估计对方既会对这种信息感到兴趣，而又尚不知道这个信息。

也就是说，对方在关于这个信息的知识上存在着不确定性；另一种情况是，自己有某种疑问要向对方询问，而且估计对方能够解答自己的疑问。

在前一种情况下，如果估计对方已经了解了所欲告之的消息，自然就没有必要通信了；在后一种情况，如果自己没有疑问，当然就不必询问了。

这里所谓“疑问”、“不知道”，就是一种知识上的“不确定性”，即对某个事情的若干种可能结果，或对某个问题的若干可能答案，不能做出明确的判断。

所以，我们可以把作为“通信的消息”来理解的“狭义信息”，看作(或明确定义)为一种用来消除通信对方知识上的“不确定性”的东西。

由此，我们可以引伸出一个十分重要而关键的结论：接收者收到某一消息后所获得的信息，可以用接收者在通信前后“不确定性”的消除量来度量。

简而言之，接收者所得到的信息量，在数量上等于通信前后“不确定性”的消除量(或减少量)。

这就是信息理论中度量信息的基本观点。

那么，很自然地接着要问这样一个问题：这就是，“不确定性”本身是否可度量？是否可用数学方法来表示呢？我们知道，不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。

概率大，即“可能性”大；概率小，“可能性”小。

显然，“可能性”大，即意味“不确定性”小；“可能性”小，即意味“不确定性”大。

由此可见，“不确定性”与概率的大小存在着一定的联系，“不确定性”应该是概率的某一函数；
那么，“不确定性”的消除量(减少量)，也就是狭义信息量，也一定可由概率的某一函数表示。

这样就完全解决了作为“通信的消息”来理解的“狭义信息”的度量问题。

以上的三个观点，可以说是信息论的三大理论文柱。

信息论的建立，在很大程度上澄清了通信的基本问题。

它以概率论为工具，刻画了信源产生信息的数学模型，导出了度量信息的数学公式；同时，描述了信道传输信息的过程，给出了表征信道传输能力的容量公式；此外，它还建立了一组信息传输的编码定理，论证了信息传输的一些基本界限。

这些成果的取得，一方面使通信技术从经验走向科学，开辟了通信科学的新纪元。

同时，也为整个信息科学的形成和发展奠定了必要的理论基础。

但是，也正因为出于这三个基本观点，致使信息理论只适用于一定的范围，给这个理论带来一定的局限性。

1.2 信息论发展简史和现状
信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。

信息论是在长期的通信工程实践和理论研究的基础上发展起来的。

通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。

电的通信系统(电信系统)已有100多年的历史了。

在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。

这是因为通信系统对人类社会的发展，其关系实在是太密切了。

日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。

例如，当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。

1876年，贝尔(A．G．BELL)又发明了电话系统。

1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。

接着1895年英国的马可尼(G. Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。

本世纪初(1907年) ，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波进行放大的电子管。

之后很快出现了远距离无线电通信系统。

大功率超高频电子管发明以后，电视系统就建立起来了(1925—1927)。

电子在电磁场运动过程中能量相互交换的规律被人们认识后，就出现了微波电子管(最初是磁控管，后来是速调管、行波管)，接着，在三十年代末和四十年代初的二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。

五十年代后期发明了量子放大器，六十年代初发明的激光技术，使人类进入了光纤通信的时代。

随着工程技术的发展，有关理论问题的研究也逐步深入。

1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。

1885年凯尔文(L. Kelvin)曾经研究过一条电缆的极限传信率问题。

1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。

1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。

他把信息率与带宽联系起来了。

1928年哈特莱(R．V．Hartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。

他的工作对后来香农的思想是有影响的。

1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处。

根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。

信息论作为一门严密的科学分支，主要归功于贝尔实验室的香农。

他在1948年发表的论文《通信的数学理论》奠定了信息论的基础。

控制论的创始人维纳也对信息论有不可忽视的贡献。

香农和维纳的基本思想都是把通信作为统计过程来处理。

他们采用的术语、方法也主要依靠统计理论。