下载文档原格式
《信息论基础与编码》课程论文（设计）题目：信息论在图像信号压缩中的应用*名：***学院：电信分院专业：通信工程班级：2012.1学号：**************指导教师：***2014 年12 月27 日目录摘要： (1)引言 (1)1 概述 (1)1.1 信息与信息论 (1)1.2 图像处理 (2)1.2.1 数字图像处理的介绍 (2)1.2.2 数字图像处理的发展 (2)2 图像信号压缩 (4)2.1 图像信号压缩的概念与原理 (4)2.1.1 图像信号压缩的概念 (4)2.1.2 图像信号压缩的原理 (4)2.2 图像信号压缩的分类 (6)2.2.1 按照压缩前及解压后的信息保持程度分类 (6)2.2.2 按照图像压缩的方法原理分类 (7)2.3 压缩技术的性能指标 (8)3 信息论在图像信号压缩中的应用 (9)3.1 无失真图像压缩编码 (10)3.1.2 Huffman编码 (10)3.1.3 算术编码 (12)3.2 有限失真图像压缩编码 (14)3.2.1 基于DCT的图像压缩编码 (14)3.2.2 变换编码 (16)4 总结 (17)参考文献 (19)附录 (20)信息论在图像信号压缩中的应用信息与计算科学专业郑耀涛指导教师杨小翠摘要：本文首先简单介绍了信息、信息论以及图像处理技术，并通过多个实例对图像信号压缩的原理和冗余度问题做出解释。
然后引入图像信号压缩的概念、原理、分类及压缩技术的性能指标。
论文运用Huffman编码以及算术编码方法对图像信号进行编码压缩处理，并比较了两种方法各自的优缺点，体现了信息论在图像信号压缩中的应用。
同时还运用Matlab软件实现了图片压缩，通过对工作区各个数据的分析，求得图片的冗余度等。
此外，本文用有限失真图像压缩编码方法对图片进行处理。
最后，论文介绍了基于DCT的图像压缩编码、变换编码及其它编码。
关键词：信息论；图像信号压缩；应用1引言在社会生活和科研生产活动中，人们随时随地都要接触图像。
《信息论与编码》课程论文——通过信息论对已有知识产生的新认识马赛1143031014《信息论与编码》课程是通信专业的一门基础课。
其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。
通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。
近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。
有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。
在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。
通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。
下文中，列举了两个问题，同时使用信息论的角度去进行解释。
一、计算机的存储容量与信息量的联系当今的计算机已经十分普及。
存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。
现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。
在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？这是计算机科学的基本知识：“8 bit = 1 byte”。
bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。
我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。
信息的一种解释是：对于不确定性的消除。
信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。
而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。
滨江学院《信息论与编码》课程论文题目阐述信息论院系电子工程系专业班级12通信3 班学生姓名学号教师杨玲成绩二Ｏ一四年十二月二十二日阐述信息论20122334942摘要：本文介绍了信息论的基础探究，通过本文可以让读者更好的去了解信息论的发展历史和应用。
现代社会是一个充满信息的世界，没有信息的世界是混乱的世界。
因而信息十分重要，随着社会信息化进程的加速，人们对信息的依赖程度会越来越高。
所以关于信息的研究——信息论也因运而生。
提到信息论就不得不提一个人——香农，他为信息论的发展做出了巨大的贡献。
信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信源熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码和限失真信源编码定理等。
关键词：信息，信源，信源熵，信道容量、信源编码引言现代社会是一个充满信息的世界，没有信息的世界是混乱的世界。
因而信息十分重要，随着社会信息化进程的加速，人们对信息的依赖程度会越来越高。
结合所学知识和查阅相关书籍本文简要介绍了信息论的发展、和主要的几个基础理论，让人们更好的去了解信息论这门课程。
一、信息论的发展过程信息论理论基础的建立，一般来说开始于香农（C.E.Shannon）在研究通信系统时所发表的论文。
随着研究的深入与发展，信息论有了更为宽广的内容。
信息在早些时期的定义是由奈奎斯特（H.Nyquist）和哈特利（L.V.R.Hartley）在20世纪20年代提出来的。
香农被称为是“信息论之父”。
人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。
这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。
后来其他科学家维纳、朗格等科学家又对信息理论作出了更加深入的探讨。
使得信息论到现在形成了一套比较完整的理论体系。
香农信息论对现代社会的影响摘要：1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。
论文由香农和威沃共同署名。
这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。
这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。
此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。
今天这已司空见惯，但在当时是相当新鲜的。
他建立的信息理论框架和术语已经成为技术标准。
他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。
关键词：香农、通信、编码Abstract: In 1948, Shannon Bell System Technical Journal published "A Mathematical Theory of Communication". Paper co-signed by the Hong farmers. This ground-breaking paper is based on Shannon's observation of the communication that "the fundamental problem of communication is the message of regeneration, at some point with another point to report the selected text should be reproduced exactly or approximately." This paper established the discipline of information theory, given the linear signal model of communication system, that information source, sender, channel, receiver, message places, this is a new idea. Since then, the communication to consider the electromagnetic waves sent to the channel, by sending a stream of bits 1 and 0, one can transfer images, text, and so on. It has become commonplace today, but was very fresh. He established the theoretical framework and terminology of information technology has become the standard. His theory in communications engineer in immediate success, and stimulate the need for the information age of today's technology.Keywords:Shannon、Communications、Coding信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。
信息论与编码课程论文电子邮件安全与密码学的应用刘畅，200900840179山东大学威海分校机电与信息工程学院，威海 264209摘要：本文分析了传统电子邮件系统存在的安全性问题，探讨应用密码技术采弥补这些安全漏洞，并且绍了在安全电子邮件系统中使用的密码技术。
关键词：RSA；PGB；PEM1、概述随着计算机技术和网络技术的迅速发展，电子邮件的应用也越来越广泛．成为网络牛活中重要的组成部分，大有取代传统邮件之势。
作为一种新的信息传递技术，电子邮件以其简单、快捷、方便的优势被人们所接受和喜爱。
但是也存在一些问题妨碍了它的推广。
其中关键之一就是电子邮件的信息安全。
由于电子邮件技术在设计之初是为了科学家之间的通信方便，所以并来考虑信息安全因素。
但是髓着时代的发展。
尤其是电子商务的速成长。
作为其沟通手段的电子邮件的安全性问题就不得不受到高度重视。
人们很自然的想到把已经成熟的密码技术商用于电子邮件系统。
密码技术就是对信息进行重新编码。
从而达到隐藏信息内容使非法用户无法获取真实信息内容的一种手段。
本文就浅述一下密码技术安全电子邮件中的应用。
2、密码学简介2.1、加密的历史作为保障数据安全的一种方式，数据加密起源于公元前2000年。
埃及人是最先使用特别的象形文字作为信息编码的人。
随着时间推移，巴比伦，希腊等都开始使用一些方法来保护他们的书面信息。
对信息进行编码曾被Julias Caesar（恺撒大帝）使用，也曾用于历次战争中，包括美国独立战争，美国内战和两次世界大战。
最广为人知的编码机器是German Enigma机，在第二次世界大战中德国人利用它创建了加密信息。
此后，由于Alan Turing 和Ultra计划及其他人的努力，终于对德国人的密码进行了破解。
当初，计算机的研究就是为了破解德国人的密码，当时人们并没有想到计算机给今天带来的信息革命。
随着计算机的发展，运算能力的增强，过去的密码都变的十分简单了。
于是人们又不断地研究出了新的数据加密方式，如私有密钥算法和公有密钥算法。
论最大熵原理及其应用摘要：熵是源于物理学的基本概念，后来Shannon在信息论中引入了信息熵的概念，它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度的重视。
最大熵原理是一种在实际问题中已得到广泛应用的信息论方法。
本文从信息熵的概念出发，对最大熵原理做了简要介绍，并论述了最大熵原理的合理性，最后提及它在一些领域的应用，通过在具体例子当中应用最大熵原理，展示该原理的适用场合，以期对最大熵原理及其应用有更深刻的理解。
关键词：熵；信息熵；最大熵原理；不适定性问题1 引言科学技术的发展使人类跨入了高度发展的信息化时代。
在政治、军事、经济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视，信息论方法也逐渐被广泛应用于各个领域。
信息论一般指的是香农信息论，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。
1948年C.E.Shannon为解决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。
信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。
近年来，以不确定性信息为研究对象的信息论理论和方法在众多领域得到了广泛应用，并取得了许多重要的研究成果。
迄今为止，较为成熟的研究成果有：E.T.Jaynes 在1957年提出的最大熵原理的理论；S.K.Kullback 在1959年首次提出后又为J.S.Shore 等人在1980年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov 在1956年提出的关于信息量度定义的三种方法——概率法，组合法，计算法；A.N.Kolmogorov 在1968年阐明并为J.Chaitin 在1987年系统发展了的关于算法信息的理论。
编码技术在单片机通信中的研究与应用摘要：计算机之间数据通讯的校验以奇偶校验或数据块和校验较为常见．在误码率稍显突出时，这种方式的数据通信效率就会降低．本文从实际出发，介绍了一种提高计算机通信效率的编译码方法，并以八位单片机为例，给出了软件实现编译码的设计．该设计对于提高单片机数据通信效率，减少误码率具有很强的实用价值．关键词：单片机；通信；编码；译码；纠错；抗干扰Application of the Coding to Data Communicatingin the MicroprocessorAbstract：There are two familiar methods of checking the accuracy of the data communicated between two computers．0ne is the method of counting the number of 0 or 1in the data．Another is the method of adding all data．When the mistake code rate is slightly outstanding ,the efficiency of the data communication will lower．Proceeding from actual condition，this test introduces a kind of the coding method and gives a design with 8 bit microprocessor .The method can raise the efficiency the data communication and cut down the wrong data．Keywords：microprocessor；communication; encoding；correcting code：anti-interference0 概述在数据通信中，误码率是项重要指标．误码可能发生在各个环节，大量实践证明，传输媒介是产生误码的主要来源．为了提高数据传输可靠性，人们开始广泛采用编码技术，通过编码以一定的规则产生一些附加数字(称为监督数字)，使原来不相关的信息序列变为相关的新列(称为码序或码字)，然后把新的序列发送出去．通过编码的方法使信息具有纠检差错的能力．该通信模型可简要地用图1表示．1 设计思想1．1选择编码形式人们已研究出许多编码方法，如奇偶校验码、汉明码、循环码和卷积码等．这些编码中，有的具有检错能力，有的既能检错、又能纠错．在众多的编码中，汉明码比较直观简单，传输信息数字的频率（即信息率)最高，它既具有检错能力，又具有纠错能力，而且软硬件实现起来也较为简单．本设计采用汉明码中纠1检2错线性码编码，当接收端发现接收的信息出现了一位差错时，在译码的同时也就完成了纠错；当出现两位差错时，能及时检出舍弃⋯．1．2 MCS-51编码方案设计对于Mcs ．5l 系列单片机的串行口来说，若接收和发送双方约定选用方式1工作时，串行口一次能够发送10位数码(1位起始位、8位数据位和l 位停止位)．接收缓冲器里一次只能存放一个字节数据．对于一个8位数码，若再加上一些监督位，则该码就超过8位，Mcs ．5 1单片机一次发送不能完成．若先发送8位信息，后发送监督位，则达不到纠1检2的目的．为此，一个8位信息可分为两组编码，即高4和低4位分别编码发送、分别纠检差错． 2 编码技术具体应用2．2 译码依据原则根据汉明码取最少的监督数字，包含最多的信息原则，来确定监督数字的位数．该原则可用公式：21mm -- 表达，式中m 为监督数字位数．该表达式运算结果即为所包含的最多有效信息．本例中取m=3(位)监督数字，则可包含4位有效信息，这时码长为：4+3=7(位)，根据一致监督矩阵的特点可知，一致监督矩阵的横行数等于监督数字的个数，纵列数等于码的长度．这样把1、2、⋯、7化为二进制数，然后把它们作为矩阵的纵列，组成一个矩阵，再按照一致监督矩阵排列得：在做一致监督矩阵时，要求包含：100r （）、 r r（010）、（001）.这3个纵列是为了保证矩阵中的每一横行线性无关，这样就能保证由这个一致监督矩阵做出的42=16个状态包含所有的信息．为了更加明确编程思路，简要介绍一下纠码原理．设c 为一个码字，根据一致监督方程的关系，则有：们7=0．根据此关系，设接收矢量为R ，则当0T HR =时，认为R 是一个正确的码字；若0T HR ≠时，则R 就不是一个正确的码字，即接收信息有错．假设接收矢量R 只包含一个差错，则利用监督子T T S HR =可确定这个差错的位置，从而可得到纠正．针对本例，设112277(,,,)R C E C E C E =+++ ，其中E 为错型，则T T S HR =展开后得:由式2可见，当接收矢量中只有一个差错时，监督子TS 就等于监督矩阵中的某一纵列，从而能纠正单个差错。
本科生课程论文题目：互信息技术在数字图像配准中的应用姓名：学院：理学与信息科学学院专业：信息与计算科学班级：学号：指导教师：完成时间：2011 年7 月1 日2011年7月1日课程论文任务书学生姓名指导教师论文题目互信息技术在数字图像配准中的应用论文内容（需明确列出研究的问题）：图像配准是使两幅图像上的对应点达到空间上一致的一个过程。
本文介绍了一种基于最大互信息原理的图像配准技术。
并针对基于最大互信息图像配准的不足，研究了基于Harris角点算子的多模态医学图像配准。
在计算互信息的时候，采用部分体积插值法计算联合灰度直方图。
在优化互信息函数的时候采用了改进的遗传算法将配准参数收敛到最优值附近。
资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。
文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。
内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。
参考文献的书写按论文中引用的先后顺序连续编码。
发出任务书日期2011.06.23 完成论文（设计）日期2011.07.01 学科组或教研室意见（签字）院、系（系）主任意见（签字）目录摘要： (1)Abstract： (2)前言 (3)1 概述 (4)1.1 互信息与信息论 (4)1.2 数字图像配准 (5)1.2.1 数字图像配准的介绍 (5)1.2.2 数字图像配准的方式 (5)1.2.3 数字图像配准的发展 (6)2 配准方法 (7)2.1 变换和插值模型 (7)2.2 特征点的提取 (8)2.3 多元互信息 (11)2.4 优化算法 (12)2.4.1 编码方式 (12)2.4.2适应度表示 (12)2.4.3轮盘赌法和最优保存策略 (12)3 互信息技术在图像配置中的应用 (13)3.1 Harris角点后的CT图和PET图 (14)3.2 配准过程及结果 (14)4 总结 (14)参考文献： (16)互信息技术在数字图像配准中的应用信息与计算科学专业指导教师【摘要】：医学图像配准技术已经被应用于心脏病诊断和包括脑瘤在内的各种各样的神经混乱诊断研究中。
信息论与编码论文通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。
信息论的内容之一。
信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。
②构造性的编码方法以及这些方法能达到的性能界限。
编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。
编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。
在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。
不是所有信道的编码定理都已被证明。
只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。
信道编码技术数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。
所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。
误码的处理技术有纠错、交织、线性内插等。
提高数据传输效率，降低误码率是信道编码的任务。
信道编码的本质是增加通信的可靠性。
但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。
这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。
同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。
《信息论与编码》课程小结《信息论与编码》课程小结信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。
信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。
它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。
编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。
通过《信息论与编码》课程的学习，得到了以下总结：一、信息论的基本理论体系1948年，香农在贝尔系统技术杂志上发表“通信的数学理论”。
在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。
香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。
从数学观点看，这些定理是最优编码的存在定理。
但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体方法。
然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。
对信息论的研究内容一般有以下三种理解：(1) 狭义信息论，也称经典信息论。
它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。
这部分内容是信息论的基础理论，又称香农基本理论。
(2) 一般信息论，主要是研究信息传输和处理问题。
除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。
后一部分内容以美国科学家维纳(N.Wiener)为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。
(3) 广义信息论。
广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题，是新兴的信息科学理论。
信息论与编码题目香农信息论的基本理论探究姓名胡乐学号20092334064院系滨江学院电子工程系成绩二Ｏ一一年十二月二十八日香农信息论的基本理论探究胡乐 20092334064南京信息工程大学滨江学院 2009级通信工程<二>班【内容摘要】：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。
人类每时每刻都在不停的接受信息，传播信息，以及利用信息。
从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。
而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。
信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。
【关键词】：平均自信息信道容量信源编码霍夫曼码有在q 个信源符号等可能出现的情况下，信源熵才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。
这个定理为我们后面研究有噪信道编码定理提供了有力的依据。
离散平稳信源是一种非常重要的信源模型。
如果不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。
一维离散平稳信源无论在什么时候均按P(X)的概率分布输出符号。
最简单的离散平稳信源就是二维离散平稳信源。
二维离散平稳信源就是信源输出的随机序列…，X1,X2,…,Xi ，…，满足其一维和二维概率分布与时间起点无关。
二维离散平稳信源的联合熵1211()()lo g ()q q i j i j i j H X X P a a a a ===-∑∑此联合熵表明原来信源X 输出任意一对可能的消息的共熵，即描述信源X 输出长度为2的序列的平均不确定性，或者说所含有的信息量。
可以用1122()H X X 作为二维离散平稳信源X 的信息熵的近视值。
除了平稳离散信源之外，还存在着非平稳离散信源。
在非平稳离散信源中有一类特殊的信源。
这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。
马尔可夫信源是一种非常重要的非平稳离散信源。
那么马尔可夫信源需要满足一下两个条件：（1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。
（2） 信源某l 时刻所处的状态由当前的输出符号和前一时刻（l -1）信源的状态唯一决定。
马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。
第l 时间信源输出什么符号，不但与前一（l -1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。
一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是：121()lim ()N N H H X H X X X N ∞∞→∞== .二．平均互信息信道的任务是以信号方式传输信息和存储信息的。
我们知道信源输出的是携带着信息的消息。
消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。
并且认为噪声或干扰主要从信道中引入。
信道根据用户的多少，可以分为两端信道，多端信道。
根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。
根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。
根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。
为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系：(|)(|)(|)(1,2,,;1,2,,)j i j i P y x P y b x a P b a i r j s ======传递概率所表达的意思是，在信道当输入符号为a ，信道的输出端收到b 的概率。
我们知道，信道输入信源X 的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。
如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。
但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。
表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性。
即信道疑义度：,1(|)()lo g (|)X Y H X Y P x y P x y =∑这个信道的疑义度是由于干扰噪声引起的。
前面我们看到了输出端接收到输出符号前关于变量X 的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。
那么定义单符号信道的平均互信息量(;)()(|)I X Y H X H X Y =-平均互信息是表示了收到输出Y 的前，后关于X 的不确定性的消除量，就是在接到了输出符号之后，对输入端输入什么符号得到了更多的信息。
平均互信息量具有一些基本的特征：第一点，非负性。
我们通过一个信道获得的平均信息量不会是负值。
也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。
除非信道输入和输出是统计独立时，才接收不到任何信息。
因为在这样的统计独立信道中，传输的信息全部损失在信道中，以致没有任何信息传输到终端，但也不会失去已经知道了的信息。
第二，平均互信息量的大小不大于输入输出任一者的信息熵。
即从一事件提取关于另一事件的信息量，最多只有另一事件的信息熵那么多，不会超过该事件自身所含有的信息量。
第三点是平均互信息的交互性。
第四，平均互信息的凸状性，平均互信息只与信源的概率分布和信道的传递有关，因此对于不同信源和不同信道得到的平均互信息是不同的。
当固定某信道时，选择不同的信源与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。
而且对于每一个固定信道，一定存在有一种信源，是输出端获得的信息量为最大。
后来，我们学习到信道容量的一般计算方法。
其中最重要的是对称离散信道的信道容量的计算。
信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，这就是对称离散信道。
计算对称离散信道的信道容量公式是：'''12log (,,,)(/)s C s H p p p =- 比特符号 其中，等号右边的第一项是输出符号的最大信息熵，第二项是信道矩阵分布行矢量的熵函数。
比方说，前面提到的，二元对称信道的信道容量就是1()(/)C H p =-比特符号除了前面论述到得单符号离散信道之外，还有独立并联信道和串联信道。
一般的独立并联信道如下：图 1 ……独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号i X 相互独立，且输入符号i X 的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量才等于个信道容量之和。
串联信道是一种比较常见的信道模型，比如微波中继竭力通信就是一种串联信道，还有，在信道输出端对接受到的信号或数据进行适当的处理，这种处理称为数据处理。
数据处理系统一般可以单程是一种信道，它和前面传输数据的信道是串接的关系。
串联信道中X 、Y 、Z 有如下关系：对于串接信道X 、Y 、Z 有(;)(;)I X Y Z I Y Z ≥当且仅当P(z|xy)=P(z|y)时，等式成立。
串联信道的信道容量与串接的信道数有关，串接的无源数据处理信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能接近零。
三．连续信道前面讲到的离散信道其输出的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述。
但是语音信号，电视信号都是连续波形信号。
在某一固定的时刻，这样的可能输出即是连续的又是随机的，我们称之为随机波形信源。
它是用随机过程描述输出消息的信源。
用连续随机变量描述输出消息的信源就是连续信源。
连续信源的熵的表达式如下：dxx p x p x h R ⎰-=)(log )()(我们可以看到，连续信源的熵的定义与离散信源熵的定义方式一样，只不过离散情况下是每个信源符号的信息量的加权平均，而连续信源的熵也是某一时刻信源输出为某值的期望值。
连续信源也可以称之为差熵。
接下来由两种特殊连续信源的差熵需要计算。
均匀分布连续信源的熵值，和高斯信源的熵值。
连续信源的差熵具有以下的一些基本性质：可加性，上凸性，可负性，变换性，极值性。
在不同的情况下，连续信源中的差熵具有极大值，有下面两种情况下连续信道存在最大的差熵：（1） 峰值功率受限条件下信源的最大熵。
若信源输出的幅度被限定在[],a b 区域内，则当输出信号的概率密度是均匀分布时，这个时候信源具有最大熵，为log()b a -。
（2） 平均功率受限条件下信源的最大熵。
若一个连续信源输出的平均功率被限定为P ，那么其输出信号幅度的概率密度分布时高斯分布时，信源有最大的熵，为1log 22eP π。
也就是说，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯噪声统计特性一样时，才会有最大的熵值。
和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称之为信道容量。
它是信道可靠传输的最大信息传输率。
对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道带宽及对信号的各种限制不同，所以具有不同的信道容量。
我们先来讨论单符号高斯加性信道的信道容量，单符号高斯加性信道是指信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。
它的信道容量表达式为：1log(1)2sn P C P =+其中，in P 是输入信号X 的平均功率，n P 是高斯噪声的平均功率。
只有当信道的输入信号是均值为零，平均功率为s P 高斯分布的随机变量时。
信息传输率才能达到这个最大值。
注水定理是对于多维无记忆高斯加性连续信道的个信道功率分配问题而提出来的，对于多维的情况，因为输入的是平稳随机序列，输出的也是平稳随机序列，我们可以将它等价为N 个独立并联加性信道。
假如各单元时刻上的噪声仍是均值为零，方差为不同的in P 的高斯噪声，单输入信号的总体平均功率受限，此时我们可以使用拉格朗日乘子法莱确定平均功率的分配。
当N 个独立并联的组合高斯加性信道，各分信道的噪声平均功率不相等时，为了达到最大的信息传输率，要对输入信号的总能量适当地进行分配。
如果该信道分得的平均功率小于次信道的噪声功率，那么就不能分配能量，使之不传送任何信息；如果信道分得的平均功率要大于信道的噪声功率，就在这些信道上分配能量，使i is n P P υ+=，这样得到的信道容量为最大。
我们总是希望在噪声大的信道少传送或甚至不传送信息，而在噪声小的信道多传送些信息。
