香农与信息论
1948年，美国数学家香农发表了一篇著名的论文“通信的数学理论”，建立了比较完整的、系统的信息理论，即信息论。这门科学大大促进了通信技术和信息技术的发展。因此，香农的贡献是很大的。
首先，他提出了信息的形式化。香农认为，在通信中，要排除信息的语义，只考虑信息的形式因素。在通信中，如果接收端能够把发送端发出的信息从形式上复制出来，那么也就复制了信息的语义内容。例如，有三个句子：
“信息是人类社会三大资源之一。”
“(a＋b)2=a2＋2ab＋b2。”
“Z!12#5$7**XYZ”。
第一句是正常的句子，第二句是代数公式，第三句是含义不清的字符串。这三个句子有明显差别，但它们都是信息。在通信时，一旦把它们转变为电信号，那么这种差别就没有了，都是电信号。当接收端将电信号转换成原来形式时，语义就恢复了。所以，信息形式化后，就有可能用数学进行描述。
第二，他提出了如图所示的通信系统模型。信源给出要传输的信息；编码器把信息转变为信号，使之能在信道中传输；解码器把信号变回信息传给信息的接受方，即信宿。
通信系统模型
目前的通信系统都基本采用了这个模型。例如，利用电话线上网时，计算机既是信源(发送信息时)又是信宿(经受信息时)，而调制解调器的调制和解调部分分别是编码器和解码器。这个模型的不足之处是，没有考虑信宿对信源的反馈作用。不管信息接收者对收到的信息是否正确理解，信息接收者都会做出反应。譬如打电话，一个人讲话时，另一个人总要答理，否则讲话人会以为电话线路断了。
第三，他研究了信息与事件发生概率的关系，提出用比特(即二进制位)来测度信息量。他认为，信息量的大小可以用被消除的不确定性的多少来表示。例如，把一个硬币往上抛，那么硬币掉地时其正面可能朝上，也可能朝下。这是不确定的，概率都是二分之一。因为朝上和朝下可以分别用1和0来表示，所以这个事件的信息量是一个比特。不难推算，如果一个事件能够分解为n个二中择一的问题，那么它的信息量是n个比特。
第四，他提出了冗余信息的概念。他认为，没有提供独特信息的那部分数据是冗余的，因此可以删除。比如，若在英文单词中，每个字母q后面总是有字母u(注意这只是一种比方)，字母u就没有提供更多的信息，因此在信息的存储和传输环节中可以去掉它。现在，香农的这项研究被广泛用于音频和视频信息的压缩上。
信息技术的发展与信息论、控制论和系统论“三论”的发展是密切相关的。信息论是研究信息及其传输的一般规律的学科；控制论是由美国数学家诺伯特·维纳于1948年前后创立的，它是研究生物(包括人类)和机器中的控制与通信的普遍原则和规律的学科；而系统论是由奥地利生物学家贝塔朗菲于1945年创导的，它是研究系统的一般模式、结构、性质和规律的学科。信息论是信息科学的一个分支，它是信息科学的理论基础之一。
1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具
实验四 香农编码 一、实验目的 1、理解香农编码的概念。 2、掌握香农编码的一般算法 3、掌握香农编码算法中的二进制编码算法。 4、任意给定一个信源模型，编程实现其二进制香农编码，输出编码结果。 二、实验仪器与软件 1、PC 机 1台 2、C 语言环境或MATLAB7.0环境 三、实验原理 (1)输入信源符号以及每个符号对应的出现概率。 (2)对输入的信源符号按概率的大小进行排序。 (3)个码字的累加概率表示第，用令i i j x p x p j a ,1),(0)(0+== (4)令)(log 1)(log 22i i i x p k x p -≤≤- (5)的码字位作为点后的用二进制表示，用小数把i j a x k x p )( (6)重复（3）-（5）直到求出所有的码字。 四、实验内容（源代码及实验结果） 设输入单符号离散信源{a1, a2,a3,a4,a5, a6 ,a7}，出现的概率分别是0.2, 0.19, 0.18, 0.17, 0.15, 0.1, 0.01，编程实现二进制香农编码，输出编码结果。
五、实验小结（对本次实验结果进行分析和总结） 1、程序代码： 求解给定信源符号概率的香农编码 n=input('输入信源符号个数n=') p=zeros(1,n); for i=1:n p(1,i)=input('输入信源符号概率:'); end if sum(p)<1||sum(p)>1 error('输入概率不符合概率分布') end y=fliplr(sort(p));%从大到小的排序 D=zeros(n,4);%生成7*4的零矩阵
现代通信与香农三大定理 姓名：杨伟章学号：201110404234 摘要：当我们提起信息论，就不得不把香农和信息论联系在一起，因为正是香农为通信理论的发展所做出的划时代贡献，宣告了一门崭新的学科——信息论的诞生。从此，在香农信息论的指导下，为了提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。其实，信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相互结合而逐步发展起来的一门新兴交叉学科。 关键词：信息论基础现代通信系统香农三大定理 上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。但是通信技术已经有了相当的发展。从十九世纪中叶，电报就已经很普遍了。电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母E只有一个点。而不常用的Z有两划两点。这样，在传送英语时，平均每个字母的码数就减少了。事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。这在一百五十多年前，是相当了不起了。 在二次世界大战时，雷达和无线电在军事上广泛应用。无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。各种不同的调制方式也纷纷问世。于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？ “传输速率是波特率与每波特所含比特数的乘积。波特率受频宽的限制，而每波特所含比特数受噪声的限制。”前一个限制，由那奎斯特（Harry Nyquist）在1928年漂亮地解决了。而后一个问题则更复杂。1928年，哈特利（R. V. L. Hartley）首先提出了信息量的概念，并指出编码（如摩斯码）在提高传送速度中的重要作用。但是他未能完整定量地解决这个问题。二战期间，维纳（Norbert Wiener）发展了在接收器上对付噪声的最优方法。但是传输速率的上限还是没有进展。 在这种情况下，香农（Claude E Shannon）在1948年发表了《通信的一个数
信息论导论参考资料 作者 龙非池 第一章 概论 ● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息 ● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数 2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法 ● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。 信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。 第二章 离散信源及离散熵 ● 单符号离散信源的数学模型：1 212 ()()()()n n x x x X P x P x P x P X ?? ??=???????? 自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley) 自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。 ● 单符号离散信源的离散熵： 1()[()]()()n i i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。 离散熵的性质和定理：H(X)的非负性；H(X)的上凸性； 最大离散熵定理：()H X lbn ≤ ● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：
香农信息论对现代社会的影响 摘要：1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。 关键词：香农、通信、编码 Abstract: In 1948, Shannon Bell System Technical Journal published "A Mathematical Theory of Communication". Paper co-signed by the Hong farmers. This ground-breaking paper is based on Shannon's observation of the communication that "the fundamental problem of communication is the message of regeneration, at some point with another point to report the selected text should be reproduced exactly or approximately." This paper established the discipline of information theory, given the linear signal model of communication system, that information source, sender, channel, receiver, message places, this is a new idea. Since then, the communication to consider the electromagnetic waves sent to the channel, by sending a stream of bits 1 and 0, one can transfer images, text, and so on. It has become commonplace today, but was very fresh. He established the theoretical framework and terminology of information technology has become the standard. His theory in communications engineer in immediate success, and stimulate the need for the information age of today's technology. Keywords:Shannon、Communications、Coding 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。但是通信技术已经有了相当的发展。从十九世纪中叶，电报就已经很普遍了。电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母E只有一个点。而
1．消息定义 信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。 信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。 信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。 信息的广义概念 信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和 运动状态变化的方式。 语法信息(语法信息是指信息存在和运动的状态与方式。) 语义信息(语义信息是指信宿接收和理解的信息的内容。) 语用信息(语用信息是指信息内容对信宿的有用性。) 2．狭义信息论、广义信息论。 狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。 广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。 3.自信息 互信息 定义 性质及物理意义 自信息量： ()log ()i x i I x P x =- 是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e 时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。 自信息物理意义: 1.事件发生前描述该事件发生的不确定性的大小 2.事件发生后表示该事件所含有（提供）的信息量 互信息量: 互信息量的性质：1) 互信息的对称性 2) 互信息可为零 3) 互信息可为正值或负值 4) 任何两个事件之间的互信息不可能大于其中任一事件的自信息 互信息物理意义: 1.表示事件 yj 出现前后关于事件xi 的不确定性减少的量 2.事件 yj 出现以后信宿获得的关于事件 xi 的信息量 4.平均自信息性质 平均互信息性质 平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）： (;)()(|)i j i i j I x y I x I x y =-log ()log (|)(1,2,,;1,2,,)i i j p x p x y i n j m =-+=?=?(|)log ()i j i p x y p x =1 ()[()][log ()]()log ()n i i i i i H X E I x E p x p x p x ===-=-∑
香农信息论在信息测度中的应用 摘要：从香农开始, 已经有很多人讨论了关于信息的测度问题, 香农等的测度方法主要从信息的功能方面进行了详细的分析,目前, 对于 统一的信息测度方法的需求日益迫切, 而香农信息论是最经典的信 息概念和测度方法。本文对以用香农信息论进行信息的测度做了简要介绍, 希望能更好地探索信息本质的绝对真理。 关键词: 香农信息论；香农定理：信息; 测度 信息论为不同的通信系统提供进行比较的度量,在上世纪40年代时这 种比较越来越显。为了使已有的有线系统得到保护且更好的加以利用，发明了多种多样的通信系统。在20年代时, 电报通信系统的比较这一课题引起了尼奎斯特(H.Nyquist)和哈脱莱(R.V.L.Hartley)的注意,他们 在信息论出现之前就已提出某些相关的基本原理。1918年香农 (C.E.Shannon)发表了周密的通用理论,成为信息论以后工作的基础。 选择性信息单位,即根据两个概率相同,互相排斥并包含所有可能的 事件出现个的已知结果推导得出的信息量。信息的对数计量单位,它是两种互不相关的并且具有相等概率的事态集合的判定含量, 表示 为以2为底的对数。在信息论中,一组互斥事件的判定量以2为底的对数量度单位。 根据香农公式，设信道带宽为口,信道内所传信号的平均功率为S,信道内部高斯噪声的功率为N,则信道容量C为： C:Blg(1+S/N) 比特/秒
香农公式指出了当信号和噪声的平均功率给定之后,在单位时回内,在给定带宽的信道的最大信息传输量。 香农第一定理，亦即“无噪声(离散)信道编码定理, 为信息论基础中两个主要定理之一。该定理揭示了对信息源符号编码后的码字平均长度与信息源每个符号的平均信息量之间的内在规律。 香农第一定理指出: 码字的平均长度L只能大于或等于,但不能小于 信源的熵即L≥H(S),亦即码字的平均长度以H(S)为极限。 香农第二定理，亦即有噪声信道的编码定理。香农第二定理是信息论基础中两个主要定理中的另一个。 在一个有噪声干扰的信道中,传送消息通常会有错误。错误的大小, 一般用错误概率来表示,但是在通信实践中已经知道,可以有许多方法来降低错误。例如提高发送端信号的功率,即提高功率信噪比,从而提高信道容量,或者把一个消息重复发送几次。即降低传输消息的速 率等。这样就提出了一个问题,就是有无可能定量地来确切描述降低错误的编码方法，有无可能找到一种编码方法,能在有噪声的信遘中进行无错误的消息传输，香农第二定理对上述问题作出了明确的解答。该定理指出，只要传送消息的速率小于信道容量,就存在着一类编码,使传送消息的错误概率可以任意小。 香农定理，可应用于解决以下问题： 如计算事件信息量的问题，掷两粒股子，当其向上的面的小圆点之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量是多少？
信息论与编码课程大作业 题目：香农编码 学生姓名： ****** 学号： &********** 专业班级： ******************* 2013 年 5 月 10 日
香农编码 1.香农编码的原理/步骤 香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。如何构造这种码香农第一定理指出， 选择每个码字的长度K i 将满足式 I(x i )≤K i ＜Ip(x i )+1就可以得到这种码。这种编码方 法就是香农编码。 香农编码步骤如下: (1)将信源消息符按从大到小的顺序排列。 (2)计算p[i]累加概率； (3)确定满足自身要求的整数码长； (4)将累加概率变为二进制数； (5)取P[i]二进制数的小数点后Ki位即为该消息符号的二进制码字。 2. 用C语言实现 #include <> #include <> #include <> #define max_CL 10 /*maxsize of length of code*/ #define max_PN 6 /*输入序列的个数*/ typedef float datatype; typedef struct SHNODE { datatype pb; /*第i个消息符号出现的概率*/ datatype p_sum; /*第i个消息符号累加概率*/ int kl; /*第i个消息符号对应的码长*/ int code[max_CL]; /*第i个消息符号的码字*/ struct SHNODE *next; }shnolist; datatype sym_arry[max_PN]; /*序列的概率*/ void pb_scan(); /*得到序列概率*/ void pb_sort(); /*序列概率排序*/ void valuelist(shnolist *L); /*计算累加概率，码长，码字*/ void codedisp(shnolist *L); void pb_scan() { int i; datatype sum=0; printf("input %d possible!\n",max_PN); for(i=0;i
香农信息论的基本理论探究 摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以 及人类的生存方式都离不开信息的产生和传播。 人类每时每刻都在不停的接受信息， 传播信 息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。 而信息理论的提出却远远落后于 信息的出现， 它是在近代才被提出来而形成一套完整的理论体系。 信息论的主要基本理论包 括： 信息的定义和度量； 各类离散信源和连续信源的信息熵； 有记忆、 无记忆离散和连续信 道的信道容量；无失真信源编码定理。 【关键词】 ： 平均自信息 信道容量 信源编码 霍夫曼码 一．信息的度量 在各种通信系统的信源当中， 离散随机信源是一类最基本的信源， 信源输出是单个的符 号的消息， 并且消息之间是两两互不相容的。 假设有个一维离散无记忆信源， 它的概率分布 函数决定了他所携带的信息。该信源空间中共有 q 个符号，每个符号发生的概率是 Pi, 那么 发出某个符号所携带的信息量是 -logPi , 由于概率是在 和 1
之间的， 使得每一事件的信息 量是非负的。如果该事件发生的概率是 ，或者是 1 ，则表明该事件一定不会发生或者一定 会发生。那么他所携带的信息量是 。从理论上讲，该事件发生的概率越小，那么它的不确 定性也就越大， 它所携带的信息量也就越大。 该事件发生的概率越大， 它所携带的信息量也 就越大。 这也是人们为什么一听到一件不可思议的事情发生了之后， 会感到非常惊讶的原因。 对于通信系统的信源来说， 它不会仅仅只发出一个消息， 这个消息发生的概率也不是 1 。 必然会有别的可能的情况发生。那么对于一个信源来讲，它所包含的信息量是什么样子的，我们可以用平均自信息量来度量， 即对每个事件各自所携带的信息量做一个加权平均。 即可 以得到信源的平均自信息量。 信息熵的定义如下： ) ( log ) ( ) ( 1 log ) ( 1 1 i q i
关于经典信息论的Case 经典信息论的case首先是现代通信技术的理论基础，而以下就是经典信息论在现代通信技术的的基础作用的体现。 1.香农信息论是通信技术的理论基础 1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。 这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了技术。香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应
的控制系统控制它。 在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，可以叫香农 通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。 2.香农的信息论对传播学的影响 香农的单向传播行为的模式有助于奠定传播学的学术领域。比起任何其他的理论概念化工作来，它更适合于作为传播学的范式，即为传播行为中的主要组成部分提供了一个单一的、易于理解的明确说明。这些主要组成部分是：信源、讯息、信道、接受器。因此，对于传播行为iede传播研究可以确定出信源变量（诸如可信度），讯息变量（就像使用恐惧诉求）、信道变量（诸如大众媒体与人际信道）和接受者变量（如受众个体的可说服性）。传播研究中的因变量对效果进行测度，诸如接受者一方的认识变化、态度变化等。香农信息论的第三个要素，也就是在他信息的定义、测度以及他的传播模式之后，是他关于信道能力的命题。香农的命题论述了诸如带或不带噪音的信
信息论之父—香农 20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。克劳德·香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。人们尊崇香农为信息论及数字通信时代的奠基之父。确实，他对人类的贡献超过了一般的诺贝尔获奖者。回顾20世纪的信息革命风暴，经他阐明的信息概念、连同“比特”这个单位已经深入人心，成为今天日常生活都离不开的词汇。 家庭背景 克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。 香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。
信息论的奠基人——香农 ——“通信的基本问题就是在一点重新准确地 或近似地再现另一点所选择的消息”。 ——这是数学家香农（Claude E.Shanon）在他 的惊世之著《通信的数学理论》中的一句铭言。 正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 ——香农，1916年4月30日生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。1938年，香农发表了著名的论文《继电器和开关电路的符号分析》，为计算机具有逻辑功能奠定了基础，从而使电子计算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领域中都得到了广泛的应用。后来，他就职于贝尔电话研究所。在这个世界上最大的通信公司（美国电话电报公司）的研究基地里，他受着前辈的工作的启示，其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著，这就是上面提到的那篇《通信的数学理论》。
次年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。在这两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息论的奠基著作。而香农，也一鸣惊人，成了这门新兴学科的奠基人。那时，他才不过刚刚三十出头。曾获电气和电子工程师学会(IEEE)的诺贝尔奖等多项世界性科学大奖。1956年当选美国科学院院士，并是多个学会的资深会员。确实，他对人类的贡献超过了一般的诺贝尔获奖者。回顾20世纪的信息革命风暴，经他阐明的信息概念、连同“比特”这个单位已经深入人心，成为今天日常生活都离不开的词汇。2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。 ——他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义信息论”发展到了“广义信息论”。——进入80年代以来，当人们在议论未来的时候，人们的注意力又异口
香农信息论的局限性分析 制作者：xxx 指导老师：xxx 【内容摘要】： 从新的角度指出了香农信息论的局限性，指出了它没有考虑信息的可靠性，完备性等特点，指出条件熵的计算公式问题并且进行了纠正，并且举例证明了条件熵可能增加，进而香农信息定义中的不确定性的减少也不是绝对的。说明了为什么信息论能够在通信中得到应用，却不能很好地在日常生活中应用。在这些分析的基础上给出了信息的新定义以及信息相关的一些模型。 【关键词】：信息论；条件熵；定义；可靠性 引言 香农（又译仙农，Shannon）信息论对信息技术的发展具有深远的影响。但是信息论的应用一直现有通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义，语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者则指出，目前信息的定义都没有考虑信息的可靠性这一因素，则导致了信息论无法应用在众多的信息技术领域，比如人工智能，信息融合等领域。 1 信息定义的局限 关于信息的定义据笔者搜索超过60种，香农的信息定义是比较流行的一个，他定义如下：信息是用以消除随机不确定性的东西。还有许多学者对这个定义有所修改，但是这些定义都是考虑到消除的随机不确定性，并没有考虑到信息的可靠性。还有一类定义，比如信息是被反映的物质的属性，信息是结构的表达等，都明显蕴含一个意思，信息是可靠的，是对物质、事物或者结构的一种正确的反映或者表达。在所有的信息定义中，都没有发现它们对于可靠性以及类似的属性的考虑。 然而，信息之所以能够被利用，信息之所以被重视，它的可靠性是前提。一旦信息足够的不可靠，信息的价值完全丧失，而且可能起反作用。 香农对信息的定义，对信息的度量，以及它的信息论，基本上都是考虑的是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。当然香农也对冗余有所考虑，但是他的冗余度是一个整体的，平均的量。为什么信息论在通信领域非常适用，因为在通信中，无需考虑信息的可靠性。那是发送者在发送之前或者是接受者在接受之后考虑的，在通信的过程中，一切的目的是如此快速，可靠地发送信息。接受信息的可靠与否，失真与否，与被发送的信息的可靠性，完备程度和真实程度没有关系，它只需要与发送的信息相比较是可靠真实的就达到了通信的目的。 在香农信息论中，信息是不变的，它不考虑信息的不一致性，乃至信息的互相矛盾，因此不需要接受反馈和进行折衷调整。信息论中，还没有考虑到信息往往是不完全的片面的，需要进行融合，人们往往可以由已知的信息得出新的信息，但是香农信息论并没有涉及到如何利用已知的信息推理衍生新的信息。这些问题显然是信息技术所需要的，也是现实生活中广泛存在的问题。当然目前的知识工程、人工智能、信息融合技术已经开始研究这些问题[5]。
香农：信息论及数字通信之父 刘瑞挺／文 ２０ 世纪中叶，信息论、控制论、系 统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。克劳德?香农是一位美国数学工程师，作为信息论的创始人，人们认为他是２０世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。人们尊崇香农为信息论及数字通信时代的奠基之父。确 实，他对人类的贡献超过了一般的诺贝尔获奖者。回顾２０世纪的信息革命风暴，经他阐明的信息概念、连同“比特”这个单位已经深入人心，成为今天日常生活都离不开的词汇。 家庭背景 克劳德?香农（Ｃｌａｕｄｅ ＥｌｗｏｏｄＳｈａｎｎｏｎ，１９１６－２００１）１９１６年４月３０日诞生于美国密西根州的Ｐｅｔｏｓｋｅｙ。在Ｇａｙｌｏｒｄ小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Ｃｌａｕｄｅ ＥｌｗｏｏｄＳｈａｎｎｏｎ。母亲是镇里的中学校长，姓名是Ｍａｂｅｌ Ｗｏｌｆ Ｓｈａｎｎｏｎ。他生长在一 个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生（Ｔｈｏｍａｓ Ａｌｖａ Ｅｄｉｓｏｎ，１８４７－１９３１）还有远亲关系。 香农的大部分时间是在贝尔实验室和ＭＩＴ（麻省理工学院）度过的。在“功成名就”后，香农与玛丽（Ｍａｒｙ Ｅｌｉｚａ－ｂｅｔｈ Ｍｏｏｒｅ）１９４９年３月２７日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Ｒｏｂｅｒｔ、Ｊａｍｅｓ、Ａｎｄｒｅｗ Ｍｏｏｒｅ和一个 女儿Ｍａｒｇａｒｉｔａ Ｃａｔｈｅｒｉｎｅ。后来身边还有两个可爱的孙女。 ２００１年２月２４日，香农在马萨诸塞州Ｍｅｄｆｏｒｄ辞世，享年８５岁。贝尔实验室和ＭＩＴ发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。 攻读学位 １９３６年香农在密西根大学获得数学与电气工程学士学位，然后进入ＭＩＴ念研 v ＩＴ历史名人走廊 v 克劳德?香农
信号论考试复习题 一、填空题。 1. 香农信息论中定义的信息是“事物运动状态和存在方式不确定性的描述”。 2. 消息是信息的载体。构成消息的两个条件是能被通信双方所理解和可以在通信中传递和 交换。 3. 信源编码的作用是根据失真度准则对信源的输出消息进行编码，用码字表示消息。 4. 信息论研究的主要问题是如何提高信息传输系统的有效性和可靠性。 5. 如果信源输出的消息的随机变量，可以在某一离散集合内取值，也可以在某一连续区间 内取值，相应的信源就分别称为 和 。——[答案：1.连续信源 离 散信源] 6. 当条件概率分布p （y ∣x ）给定时，平均互信息量I （X;Y ）是输入概率分布p(x)的 。 ——【上凸函数】 7. 八进制脉冲的平均信息量为 ，八进制脉冲所含信息量是二进制脉冲信息量的 倍。 ——【3 3】 8. 熵函数的数学特性有 、 、 、确定性、可加性、极值性、上凸性。——【对称性 非负性 扩展性】 9. 平均互信息量I （X;Y ）与信源熵和条件熵之间的关系是 。 【I （X;Y ）=H （X ）—H(X/Y)】 10. 设信源X 包含 4个不同的离散信息，当且仅当X 中各个信息出现的概率为 时， 信源熵达到最大值为 ，此时各个信息的自信息量为 。【1/4 2 2】 11. 自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越 。【小】 12. 信源的冗余度来自两个方面，一是信源符号之间的 ，二是信源符号分布 的 。【相关性 不均匀性】 13. 离散信道是 输入和输出的随机变量的取值都是离散的信道。 14. 信道可依据输入输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。 15. 单符号离散信道的输入符号是X ，取之于｛a1、a2…… an ｝;输出符号为Y ,取值为｛b1、 b2、……bn ｝，并有条件概率P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m)，这一组条件概率称为信道的传递概率或转移概率。 16. 由香农公式]1log[N S W C + =可知：提高信噪比S/N 能提高信道容量C 17. 若输入概率为P(X=ai)=P(ai)称为输入符号的先验概率，此时，对应地把P(ai/bj)称为输入 符号的后验概率。 18. 若离散信道对任意长为N 上的输入和输出符号序列有∏ == N i i i x y p p 1 )|()|(x y 则称它 为离散无记忆信道简记DMC 。 19. 准对称信道的性质：每一行都是第一行的置换，每一列都是第一列的置换。 20. 实现准对称离散无记忆信道的信道容量的输入分布为等概率分布。 21. 信道剩余度定义为：信道剩余度=C-I(x,y )。 22. 信道容量又称为最大的信息传输率。 23. 信道组合有两大基本方式：级联信道和并联信道 24. 信源编码是研究在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源
香农与信息论 1948年，美国数学家香农发表了一篇著名的论文“通信的数学理论”，建立了比较完整的、系统的信息理论，即信息论。这门科学大大促进了通信技术和信息技术的发展。因此，香农的贡献是很大的。 首先，他提出了信息的形式化。香农认为，在通信中，要排除信息的语义，只考虑信息的形式因素。在通信中，如果接收端能够把发送端发出的信息从形式上复制出来，那么也就复制了信息的语义内容。例如，有三个句子： “信息是人类社会三大资源之一。” “(a＋b)2=a2＋2ab＋b2。” “Z!12#5$7**XYZ”。 第一句是正常的句子，第二句是代数公式，第三句是含义不清的字符串。这三个句子有明显差别，但它们都是信息。在通信时，一旦把它们转变为电信号，那么这种差别就没有了，都是电信号。当接收端将电信号转换成原来形式时，语义就恢复了。所以，信息形式化后，就有可能用数学进行描述。 第二，他提出了如图所示的通信系统模型。信源给出要传输的信息；编码器把信息转变为信号，使之能在信道中传输；解码器把信号变回信息传给信息的接受方，即信宿。 通信系统模型 目前的通信系统都基本采用了这个模型。例如，利用电话线上网时，计算机既是信源(发送信息时)又是信宿(经受信息时)，而调制解调器的调制和解调部分分别是编码器和解码器。这个模型的不足之处是，没有考虑信宿对信源的反馈作用。不管信息接收者对收到的信息是否正确理解，信息接收者都会做出反应。譬如打电话，一个人讲话时，另一个人总要答理，否则讲话人会以为电话线路断了。 第三，他研究了信息与事件发生概率的关系，提出用比特(即二进制位)来测度信息量。他认为，信息量的大小可以用被消除的不确定性的多少来表示。例如，把一个硬币往上抛，那么硬币掉地时其正面可能朝上，也可能朝下。这是不确定的，概率都是二分之一。因为朝上和朝下可以分别用1和0来表示，所以这个事件的信息量是一个比特。不难推算，如果一个事件能够分解为n个二中择一的问题，那么它的信息量是n个比特。 第四，他提出了冗余信息的概念。他认为，没有提供独特信息的那部分数据是冗余的，因此可以删除。比如，若在英文单词中，每个字母q后面总是有字母u(注意这只是一种比方)，字母u就没有提供更多的信息，因此在信息的存储和传输环节中可以去掉它。现在，香农的这项研究被广泛用于音频和视频信息的压缩上。 信息技术的发展与信息论、控制论和系统论“三论”的发展是密切相关的。信息论是研究信息及其传输的一般规律的学科；控制论是由美国数学家诺伯特·维纳于1948年前后创立的，它是研究生物(包括人类)和机器中的控制与通信的普遍原则和规律的学科；而系统论是由奥地利生物学家贝塔朗菲于1945年创导的，它是研究系统的一般模式、结构、性质和规律的学科。信息论是信息科学的一个分支，它是信息科学的理论基础之一。
1、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 3、按照信息的地位，可以把信息分成客观信息和主观信息。 4、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 5、信息的可度量性是建立信息论的基础。 6、统计度量是信息度量最常用的方法。 7、熵是香农信息论最基本最重要的概念。 8、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵， = ∞ H) / ( lim 1 2 1- ∞ → N N N X X X X H 。 19、对于n元m阶马尔可夫信源，其状态空间共有 n m个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。 21、平均功率为P的高斯分布的连续信源，其信源熵，H c（X）= eP π2 log 2 1 2 。 22、对于限峰值功率的N维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率P 之比。 25、若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为3 。 26、m元长度为k i，i=1，2，···n的异前置码存在的充要条件是：∑ = -≤ n i k i m 1 1 。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log26 。 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218（1+2 log23）。 29、若一维随即变量X的取值区间是[0，∞]，其概率密度函数为 m x e m x p- = 1 ) ( ，其中： ≥ x，m是X 的数学期望，则X的信源熵 = ) (X H C me 2 log 。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源， 则其信源熵为 52 log 2。 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。 33、具有一一对应关系的无噪信道的信道容量C= log2n 。 34、强对称信道的信道容量C= log2n-H ni 。 35、对称信道的信道容量C= log2m-H mi 。 36、对于离散无记忆信道和信源的N次扩展，其信道容量C N= NC 。 37、对于N个对立并联信道，其信道容量 C N = ∑ = N k k C 1。 38、多用户信道的信道容量用多维空间的一个区域的界限来表示。 39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。 40、广播信道是只有一个输入端和多个输出端的信道。 41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。