目录
一、信息管理对企业的重要性 (1)
二、现代企业管理模式对信息的需求 (1)
（一）精益生产（LP）模式到大批量定制生产（MC）模式 (2)
（二）电子商务管理模式 (3)
三、现代企业管理理念 (4)
四、现代企业管理特点 (5)
正文
我看“信息管理”的新问题
-------现代企业管理对信息的呼唤
摘要：信息管理是一种社会规模的活动，它反映了信息管理活动的普遍性和社会性。它是涉及广泛的社会个体、群体、国家参与的普遍性的信息获取、控制和利用活动。本文从现代企业管理在管理模式、管理理念和管理特点三方面的创新对信息的需求来简述信息管理对我们管理活动的重要性及其发展趋势。
关键词：信息管理、管理模式、管理理念、管理特点
信息对于我们每个人来说，并不陌生。在实际生活中，每个人每时每刻都在不断地接收信息，加工信息和利用信息，都在与信息打交道。现代管理者在管理方式上的一个重要特征就是：他们很少同“具体的事情”打交道，而更多地是同“事情的信息”打交道。管理系统规模越大，结构越是复杂，对信息的渴求就越加强烈。实际上，任何一个组织要形成统一的意志，统一的步调，各要素之间必须能够准确快速地相互传递信息。管理者对组织的有效控制，都必须依靠来自组织内外的各种信息。信息，如同人才、原料和能源一样，被视为组织生存发展的重要资源，成了管理活动赖以展开的前提，一切管理活动都离不开信息，一切有效的管理都离不开信息的管理。
在经济全球化的背景下，伴随着IT的广泛应用，现代企业管理面临着巨变和快变的环境和用户需求，如：市场竞争激烈，企业经
营由生产导向到市场导向再到客户需求导向的转变；客户的需求向着多样化、个性化和时尚化方面发展。为了适应这种趋势，对于信息的综合利用，现代企业的管理模式也发生相应的变化，从制造资源计划（MRPⅡ），到现代企业的运行模式---企业资源计划(ERP)，到准时生产（JIT），再到精益生产（LP）。
精益思想在制造业中的应用，即“精益生产Lean manufacturing”极大地降低了制造成本、缩短了开发和制造的周期、显著地增强了企业的竞争能力，除了在汽车行业应用以外，还扩展到各种机械制、电子、消费品、以至航空、航天、造船工业中应用。是继大量生产方式之后人类现代生产方式的第3个里程碑。①然而，这个连美国都派人专门去取经的日本丰田神话却在2010年2月份出现了滑坡现象：原来在过去数年间，丰田过分注意技术问题，明显对顾客的声音没及时认真倾听。同时丰田盲目扩大市场份额，导致对质量的疏忽等等,这些信息不断地反映出丰田模式出现的问题，但丰田集团对一意孤行，最终爆发了这次危机。
这信息对广大企业管理者的管理敲响了警钟，同时也提出了新的挑战。大批量定制生产（MC）和电子商务(ElectronicCommerce)也应运而生。大批量定制生产方式是一种集企业、客户、供应商和环境等于一体，在系统思想指导下，用整体优化的观点，充分利用企业已有的各种资源，在标准化技术、现代设计方法学、信息技术和先进制造技术等技术和思想的支持下，根据客户的个性化需求，以大批量生产的低成本、高质量和高效率提供定制产品和服务的生
产方式。②
在传统竞争中，一些产品由于受到和订货、交付以及地域等成本的限制，消费者只能在一定的地区范围内选择。而大批量定制生产中电子商务系统的应用突破了地域和订货与交付成本的限制，消费者完全可以通过网络在全球范围内寻找自己中意的定制企业并参与完成产品的设计与交付。通过Internet实现了企业生产与消费者的信息交流，使顾客在产品设计的过程增强了参与性和节约了交付响应时间等（如戴尔电脑便是采用了这种模式）。
而电子商务使纵横交错的信息网络改革了信息传递方式，使其由阶层型变为水平型。分工细化的企业管理组织已不能适应电子商务发展的需要，把相互关联的企业管理组织加以整合已成为大势所趋。在电子商务下企业内部各部门、各分公司每天的经营情况，包括财务、物资报表等(例如出库单、入库单等)通过网络准确、自动地汇总到总公司的数据库中，实现企业内部数据汇总的自动化；各部门、各分公司也可通过网络随时查询总公司的相应数据库(例如了解产品的生产销售和库存等情况)便于企业领导层迅速把有关指示和工作安排下发到下属各部门各分公司，从而可以提高整个企业的经济效率。跨国经营的企业利用网络上的“虚拟现实”技术对分散在世界各国的不同厂家(包括分公司)进行生产协调管理在网上进行原材料资金、技术、人员等生产要素的调度控制，让世界各国的不同厂家(包括分公司)尽展所长，充分发挥其生产能力、资源和人才的优势，其情形接近于在同一工厂内不同车间之间的协作。由此可
见，信息的不断发展为管理模式的创新提供了基础，相信以后管理模式的发展需要信息的不断收集、加工、整理和积淀。
随着信息网络的发展与应用，企业的管理理念也打破了长期以来企业管理过分坚持规章制度、职能及人员分工和见物不见人③的“刚性”管理，以强调以人为核心的组织行为、人际关系、企业文化、团队合作和既竞争又合作的竞选管理及情景管理代之。其次，传统的理念认为外部的信息是企业取得成功的决定因素，但一个企业的成功不仅要取决于外部的信息更要注重对内部信息的倾听用以强化企业自身素质的提高。再之，传统的理念重视垂直多元化发展（它可分为三种类型：企业向上游延伸的后向一体化，向下游延伸的前向一体化，以及同时向上下游延伸的双向一体化。）④而现代企业管理理念则突出强调的是：企业必须成为产业价值链⑤某一环节，尤其是关键环节上最优秀的生产厂家，这样企业就能把握竞争的主动权，确保自己在行业中的强者地位。因此，企业应该努力创造在产业价值链关键环节上的独特优势，把握这一环节生产经营的核心技术，从而获取这一关键环节中间产品的最大市场份额。最后，传统管理理念认为，“不要将鸡蛋装在一个篮子里”，或者是“东方不亮西方亮”，这也是企业横向多元化经营的重要理由与动机。企业今年在这个事业域中不行，在另一个事业域上过得去，明年情况或许又反过来，这样就能把风险降低下来。这种以保守方式被动应对风险的经营思想，是一种消极的经营理念，很难使企业有所作为，充其量只能得到平庸的业绩。一旦每一个事业域都遭遇到困难时，
企业就会完全陷入被动。为回避风险，分散力量，将可能导致每一部分都被削弱的结局。这些信息告诉现代企业管理者要强调应对风险要从消极被动转向积极主动，只有强化企业自身的素质，才能增强抵抗风险的能力。这样，即使在行业大起大落的情况下，企业也能取得超过行业平均水平的市场回报。企业要努力把核心业务做大、做强，通过集中对核心业务领域内资源与能力的整合与升华，加快对核心产品、核心技术和核心能力的培育，形成自己的核心竞争力。以不变应对万变，才是应对风险的根本性对策。
同时，企业在经营管理特点方面也出现了一系列难题。一方面，组织中的信息系统建设与应用出现了大量的“系统及信息孤岛”，从而使系统之间相互隔离并无法共享数据；同时许多信息系统的数据中出现了大量重复、冗杂和不一致等诸多难题。另一方面，信息系统长期运行，导致企业组织中积累的各种数据出现“信息过载”或“信息爆炸”。
因此，在现代管理理念和IT支持下企业管理及其创新呈现出一系列新的特点：一、管理信息共享和知识密集性：管理信息与知识的共享和知识密集的信息系统是企业合理开发信息资源、知识资源和智力资源的基础平台。利用该平台，提高信息、知识和智能价值，随时进行信息、知识和智能的附加值的分析和研究，合理预测未来信息、知识和智能资本的附加值变化及其发展规律。二、更加重视人力智力资本的开发与利用：现代企业核心竞争力的本质是智力与知识竞争力，是智力资本和人才的竞争。三、社会性：信息时代的
企业是各种相关的社会资源的整合，更加重视软要素和软信息，更加重视信任和信誉。更加重视企业价值观与文化、政治、伦理、道德和法规，更加重视社会效益。四、绿色生态性：信息时代的企业发展要坚持以人为本、持续和和谐的发展观。现代管理应更加重视环保和循环经济，更加重视节约能源和物资，更加重视社会和谐。
随着人类进入信息时代，这种环境变化对现代企业而言，既是一种很好的发展机遇，也是一种严峻的挑战，并相应地对企业的管理提出了更高、更多、更完善的要求。现代企业在管理模式、管理理念和管理特点等方面对信息的需求日趋重要。因此，利用内外部信息对企业管理创新问题进行研究，对企业管理创新中的不同方面进行分析探讨，这将为推进企业提供理论依据和经验总结，具有重要的理论价值和实践价值。
参考资料：
①《精益生产》作者：刘树
②《大批量定制生产方式下战略成本管理环境分析》发布时间：2008年3月30日来源：会计之友作者：胡国强程锋
④《市场营销学》编者：吴健安高等教育出版社
⑥计算机世界报 2009年08月19日
⑦《现代信息系统应用基础教程》编著：高宏李灵郭均鹏
天津大学出版社
注释：
③只看到事物，看不见人。指片面强调物质条件，看不到人的主观能动作用。
⑤理论上“价值链”这一概念，是哈佛大学商学院教授迈克尔·波特于1985年提出的。波特认为，“每一个企业都是在设计、生产、销售、发送和辅助其产品的过程中进行种种活动的集合体。所有这些活动可以用一个价值链来表明。”企业的价值创造是通过一系列活动构成的，这些活动可分为基本活动和辅助活动两类，基本活动包括内部后勤、生产作业、外部后勤、市场和销售、服务等；而辅助活动则包括采购、技术开发、人力资源管理和企业基础设施等。这些互不相同但又相互关联的生产经营活动，构成了一个创造价值的动态过程，即价值链。
1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具
《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)
信息论基础发展史 信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。 通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。 当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波
信息论基础结课论文 摘要：信息的产生与应用始终贯穿在人类进化与文明发展的整个过程中，，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域。数学作为基础学科，与信息论的关系十分密切。 关键字：信息论、确立与发展、应用、与数学的联系 信息是一个十分通俗而又广泛的名词，通常是指音信、消息，它的产生与应用始终贯穿在人类进化和文明发展的整个过程中。中国古代有个《烽火戏诸侯》的故事，周幽王为了搏得褒姒的“千金一笑”而点燃了战时传递敌情的烽火来戏耍诸侯，结果失信天下，为后来西周的灭亡埋下了隐患。《三国演义》中蜀国大将关羽“大意失荆州”的原因之一就是东吴将士偷袭了荆州的烽火台，切断了烽火报信的信息源，结果荆州遭到“攻其不备”而失陷。虽然在古代信息传递非常不便，有“烽火连三月，家书抵万金”的难处，但仍然有“鸿雁捎信”、“柳絮传书”等动人的故事。由此可以看出，人类对信息的认识和利用是古已有之。在社会发展的现代生活中，从手机到个人电脑，从书本文件到卫星通信，信息几乎是在各个领域发挥着重要的作用。虽然信息技术在人类历史的进程当中随着生产力的进步而发展，但是信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。 1948年美国杰出科学家香农的著名论文《通信的数学理论》的发表，标志着信息论的诞生。所以，信息论一般是指香农信息论，它是信息科学产生的基础与起点，从20世纪40年代末起，它已经经历了半个多世纪的发展。在这半个多世纪中，人类文明与科学技术经历了一个突飞猛进的发展，信息论与信息科学的发展与变化正是人类文明与科学进步的标志与见证。 自香农理论产生之后，它的发展大体经历了理论的确立与发展、理论的应用与近代史发展几个阶段。1948年到20世纪60年代是理论的确立期，在这一时期中，香农信息论完成了信息度量与通信中的基本问题结合，并对这些问题实现了严格的数学描述论证。从信息的度量到通信模型，从编码问题到主要编码的定理证明，都是在严格的数学定义与证明中完成。20世纪70、80年代，信息论处于理论发展期。由于香农理论的阐明与通信技术的发展，信息论的研究范围日益扩大，这一时期发展的主要体现在“率失真理论”与“多用户信息论”方面。20世纪90年代前后，信息论得到了迅速发展，其主要特点是理论的成功应用与多学科结合，并且在IT领域等多个领域取得显著成就。 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科，是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。它主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。通信的根本目的是将信息有效而可靠的从信源传到信宿。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息科学是以信息为研究对象的独立学科，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具的研究信息运动规律和应用方法，由信息论、控制论、计算机理论、人工智能理论和系统论相互渗透、相互结合而成。由于信息的广泛性与普遍性，它独立于其他自然科学与社会科学中的各门学科。 信息技术是主要用于管理和处理信息所采用的各种技术的总称，它主要应用计算机科学
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
信息论与编码课程论文 电子邮件安全与密码学的应用 刘畅，200900840179 山东大学威海分校机电与信息工程学院，威海 264209 摘要：本文分析了传统电子邮件系统存在的安全性问题，探讨应用密码技术采弥补这些安全漏洞，并且绍了在安全电子邮件系统中使用的密码技术。 关键词：RSA；PGB；PEM 1、概述 随着计算机技术和网络技术的迅速发展，电子邮件的应用也越来越广泛．成为网络牛活中重要的组成部分，大有取代传统邮件之势。作为一种新的信息传递技术，电子邮件以其简单、快捷、方便的优势被人们所接受和喜爱。但是也存在一些问题妨碍了它的推广。其中关键之一就是电子邮件的信息安全。由于电子邮件技术在设计之初是为了科学家之间的通信方便，所以并来考虑信息安全因素。但是髓着时代的发展。尤其是电子商务的速成长。作为其沟通手段的电子邮件的安全性问题就不得不受到高度重视。人们很自然的想到把已经成熟的密码技术商用于电子邮件系统。密码技术就是对信息进行重新编码。从而达到隐藏信息内容使非法用户无法获取真实信息内容的一种手段。本文就浅述一下密码技术安全电子邮件中的应用。 2、密码学简介 2.1、加密的历史 作为保障数据安全的一种方式，数据加密起源于公元前2000年。埃及人是最先使用特别的象形文字作为信息编码的人。随着时间推移，巴比伦，希腊等都开始使用一些方法来保护他们的书面信息。对信息进行编码曾被Julias Caesar（恺撒大帝）使用，也曾用于历次战争中，包括美国独立战争，美国内战和两次世界大战。最广为人知的编码机器是German Enigma机，在第二次世界大战中德国人利用它创建了加密信息。此后，由于Alan Turing 和Ultra计划及其他人的努力，终于对德国人的密码进行了破解。当初，计算机的研究就是为了破解德国人的密码，当时人们并没有想到计算机给今天带来的信息革命。随着计算机的发展，运算能力的增强，过去的密码都变的十分简单了。于是人们又不断地研究出了新的数据加密方式，如私有密钥算法和公有密钥算法。可以说，是计算机推动了数据加密技术的发展。 2.2、密码学的发展 密码学的发展可以分为两个阶段。第一个阶段是计算机出现之前的四千年（早在四千年前，古埃及就开始使用密码传递消息），这是传统密码学阶段，基本上靠人工对消息加密、传输和防破译。第二阶段是计算机密码学阶段，包括： ①传统方法的计算机密码学阶段。解密是加密的简单逆过程，两者所用的密钥是可以简单地互相推导的，因此无论加密密钥还是解密密钥都必须严格保密。这种方案用于集中式系统是行之有效的。 ②包括两个方向：一个方向是公用密钥密码（RSA），另一个方向是传统方法的计算机密码体制——数据加密标准（DES）。
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
从通信联合收发优化剖析香农三大定理 --“信息论与编码”课程论文 课程：信息论与编码 指导老师：王忠 姓名：秦天柱 学号：2012141441420 摘要 本文立足之点为通信系统的收发联合优化，主要根据一种基于广义的率失真函数的信源编码、信道编码和差错隐藏联合优化的方法对此进行讨论。并在此基础上，对香农三大定理进行剖析，分析了香农三大定理的内在联系与通信系统理论构建之间的关系。
1 引言 随着现代通信技术的发展，通信的重要性不言而喻。早在二十世 纪四十年代初，香农提出三大定理，奠定了通信的数字理论基础。用户数量也随之增长，传输错误当然也不可避免。自此，容错恢复编码技术近年来成为无线视频传输研究中的热点。传统的方法[ 3, 4] 往往假设视频信源是统计平稳的，然后对整个视频序列建立经验的或理论的率失真模型来进行码率分配优化；并且只考虑信源编码和信道编码本身的性能，而没有考虑差错隐藏技术的影响。 本文着重分析了一种针对图像局部区域的信源信道编码以及差错隐藏特性的广义的率失真函数. 这种基于局部广义率失真特性的信源 编码,信道编码和差错隐藏的联合优化(以下简称JSCE)有可能取得更好的视频传输效果。并由此将香农的三大定理（无失真信源编码定理、信道编码定理和限失真信源编码定理）进行剖析，深入研究其内在联系和为通信系统的联合优化提供的理论支撑。 2 通信系统的联合优化 2.1 广义的率失真函数 在进行无线视频传输的码率优化分配时,我们将信源编解码,信道 编解码和差错隐藏联合起来进行考虑.失真因素包括信源的量化误差,信道传输错误而引起的失真,以及差错隐藏的增益优化的目的, 是在一定的码流速率和信道条件下,获得最小的端对端失真.
论最大熵原理及其应用 摘要：熵是源于物理学的基本概念，后来Shannon 在信息论中引入了信息熵的概念，它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度的重视。最大熵原理是一种在实际问题中已得到广泛应用的信息论方法。本文从信息熵的概念出发，对最大熵原理做了简要介绍，并论述了最大熵原理的合理性，最后提及它在一些领域的应用，通过在具体例子当中应用最大熵原理，展示该原理的适用场合，以期对最大熵原理及其应用有更深刻的理解。 关键词：熵；信息熵；最大熵原理；不适定性问题 1 引言 科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视，信息论方法也逐渐被广泛应用于各个领域。 信息论一般指的是香农信息论，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。1948年C.E.Shannon 为解决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。近年来，以不确定性信息为研究对象的信息论理论和方法在众多领域得到了广泛应用，并取得了许多重要的研究成果。迄今为止，较为成熟的研究成果有：E.T.Jaynes 在1957年提出的最大熵原理的理论；S.K.Kullback 在1959年首次提出后又为J.S.Shore 等人在1980年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov 在1956年提出的关于信息量度定义的三种方法——概率法，组合法，计算法；A.N.Kolmogorov 在1968年阐明并为J.Chaitin 在1987年系统发展了的关于算法信息的理论。这些成果大大丰富了信息理论的概念、方法和应用范围。 在信息论中，最大熵的含义是最大的不确定性，它解决的一大类问题是在先验知识不充分的条件下进行决策或推断等。熵方法在谱估计、图象滤波、图象重建、天文信号处理、专家系统等中都有广泛的应用。最大熵原理在实际问题中的应用近年来一直在不断地发展。 2 信息熵的概念 信息熵是将熵概念成功地扩展到信息科学领域。熵是描述客观事物无序性的参数，它最早是由R.Clausius 于1865年引入热力学中的一个物理概念，通常称之为热力学熵。后来L.Boltzmann 赋予熵统计意义上的解释，称之为统计热力学熵。1929年，匈牙利科学家Lszilard 首先提出了熵与信息不确定性的关系，使信息科学引用熵的概念成为可能。1948年，贝尔实验室的C ．Shannon 创立了信息论，熵的概念有了新的解释，香农认为信息是人们对事物了解的不确定性的消除或减少 ，他把通讯过程中信源讯号的平均信息量称为信息熵，现在一般称之为香农熵，实现了信息熵的实际应用，从此对信息熵的研究，随着信息科学的发展而得到不断的发展。 香农将随机变量X 的信息熵定义为： =)(X H －n N n n p p log 1∑=
信息论与编码应用报告互信息技术在数字图像配准中的应用 专业班级：电子信息工程 姓名： 学号：201 时间：2014年6月9日 指导老师： 2014年6月9日
目录 摘要： (1) Abstract： (2) 前言 (3) 1 概述 (4) 1.1 互信息与信息论 (4) 1.2 数字图像配准 (5) 1.2.1 数字图像配准的介绍 (5) 1.2.2 数字图像配准的方式 (5) 1.2.3 数字图像配准的发展 (6) 2 配准方法 (7) 2.1 变换和插值模型 (7) 2.2 特征点的提取 (8) 2.3 多元互信息 (11) 2.4 优化算法 (12) 2.4.1 编码方式 (12) 2.4.2适应度表示 (12) 2.4.3轮盘赌法和最优保存策略 (12) 3 互信息技术在图像配置中的应用 (13) 3.1 Harris角点后的CT图和PET图 (14) 3.2 配准过程及结果 (14) 4 总结 (14) 参考文献： (16)
互信息技术在数字图像配准中的应用 信息与计算科学专业 指导教师 【摘要】：医学图像配准技术已经被应用于心脏病诊断和包括脑瘤在内的各种各样的神经混乱诊断研究中。图像配准是使两幅图像上的对应点达到空间上一致的一个过程。本文介绍了一种基于最大互信息原理的图像配准技术。并针对基于最大互信息图像配准的不足，研究了基于Harris角点算子的多模态医学图像配准。在计算互信息的时候，采用部分体积插值法计算联合灰度直方图。在优化互信息函数的时候采用了改进的遗传算法将配准参数收敛到最优值附近。实验结果表明本方法具有较高的配准精度和稳定性。 【关键词】：图像配准互信息 Harris角点算子部分体积插值遗传算法 前言 互信息是信息论的一个基本概念，是两个随机变量统计相关性的测度。Woods用测试图像的条件熵作为配准的测度，用于PET 到MR 图像的配准。Collignon 、Wells[1] 等人用互信息作为多模态医学图像的配准测度。以互信息作为两幅图像的相似性测度进行配准时，如果两幅基于共同解剖结构的图像达到最佳配准时，它们对应的图像特征互信息应为最大。最大互信息法几乎可以用在任何不同模式图像的
信息论发展 现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力,1948年,来自贝尔研究所的ClaudeShannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。 20世纪50年代,信息论向各门学科发起冲击；60年代信息论进入一个消化、
《信息论与编码》期末考察报告 题目JPEG编码 学生姓名蒲亚洁 学号20102334916 院系电子工程 专业通信工程 二Ｏ一三年一月八日
JPEG编码 蒲亚洁 滨江学院电子工程系通信工程专业10级3班 摘要：本文介绍了JPEG。JPEG是一种针对相片影像而广泛使用的一种失真压缩标准方法。JPEG 标准指定了一系列实现静态图像压缩编码的方法,这些方法的选择决定于具体应用的要求及性能价格比的考虑。这些方法基本上可以分为两种：一种是采用以离散余弦变换(DCT)为基础的有损压缩算法，另一种是采用以预测技术为基础的无损压缩算法。使用有损压缩算法时在压缩比为25﹕1 的情况下压缩后还原的图像与原始图像相比较非图像专家难以找到它们的区别因此得到了广泛的应用。 JPEG采取多种编码方式，包含有行程编码(Run Length Coding)和哈夫曼(Huffman)编码，有很高的压缩比。在编码前，先对数据进行分块，离散余弦变换（DCT）及量化，保留能量大的低频信号，丢弃高频信号以达到压缩。解码时，进行熵解码，反量化，反离散余弦变换（IDCT）。 关键词：有损压缩算法；无损压缩算法；失真压缩标准方法；哈夫曼编码;有损压缩；JPEG Abstract：This paper introduced JPEG.JPEG is a widely used for photo image of a standard method for compression distortion. JPEG standard specifies a series of static image compression coding method, these methods of selection determines the specific application requirements and performance
信息论基础理论与应用考试题 一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。 （考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q
（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。 （考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量） 二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无 记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则 称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力 劣于分组码。（错）（考点：卷积码的纠错能力） 三、名词解释（每题3分，共12分） 1 .信源编码
信息科学技术概论课程报告 姓名: 葛坤 专业: 11级电子信息工程A班 学号: 1115102016 日期2013年3月1日—2013年4月26日
一、研究内容 信息科学 信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。 信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。 信息科学技术主要研究信息的产生、获取、存储、传输、处理及其应用。其中以微电子、计算机、软件、通信讯技术为主导，微电子是基础，计算机及通信设施是载体，而软件是核心，是计算机的灵魂。 信息，既是信息科学的出发点，也是它的归宿。具体来说，信息科学的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。 信息概念 信息是人类对自然世界的了解的物化形式，信息的概念可以在两个层次上定义： 1、本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部联系的状态和方式。 2、认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。 信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。 信息的主要特征有：可量度、可识别、可转换、可存储、可处理传递、可再生、可压缩、可利用、可共享、主客体二重性等。 信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。 数据、信息、知识和智慧 数据是未加工过的“信息”； 信息通过将事实和给定的语境关联而导出； 知识将某语境中的信息和在不同语境中得到的信息相关联； 智慧是从完全不同的知识导出的一般性原理。 信息论概念 信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。 信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，
摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。 关键字：平均自信息信道容量信源编码霍夫曼码 Abstract：Since the human being come out, the information has been existence in the world. The universe, birds and beasts, and the live style of the mankind all can’t live out of the production and transmission of the information. The human being receives the massage, transmits the information and uses the information all the time. From the papermaking in the Western Han Dynasty to the printing of the west, and the computer now, the information technology in human history developed with the productive forces. But Information Theory’s appearance is far behind the emergence of the information. It is raised in modern times and formed a complete theoretical system. The main basic theory of information includes:the definition and measurement of information;the all kinds of discrete and continuous source of information entropy;channel capacity of memorial, memory of discrete and continuous channels;lossless source coding theorem. Key word: The average self-information Channel capacity Source Coding Huffman code
电信1201班梁佳琪 A19120164 信息论与编码论文 ——香农理论与信道编码发展 前言 近年来，无线通信技术得到了广泛的发展，从移动的G3，到联通的沃3G业务，再到电信的WCDMA业务，再最近研究的4G领域，无不显示了无线通信的蓬勃发展。 而要实现信息的无线传输，满足信息传输的三个特性——有效性、可靠性和保密性，就要对通信技术提出了更高的要求，为了达到这个目的，现在世界各国的通信方面的专家都在积极研究这个领域，以实现更高速、更有效地信源、信道编码及传输要求。 香农理论的诞生 说起通信，需要回溯到香农与信息论的关系。香农在1948年发表了《通信的一个数学理论》完整地解决了通信速度上限的问题。“信息论”从此诞生。但是香农也留下了一个巨大挑战：怎样才能达到这个速度上限？这个挑战，就开辟了后来五十年来十分热门的研究领域。 信道编码 在数据传送时，我们不是直接把一个一个数码送去调制，而是只传送一些预先选定的序列。要传送的数据被对应到相应的码字来传送。在接收方，根据收到的码字就能恢复出原始数据。这种传送的方法就称为编码。编码的目的可以有多种。一个目的是保密，这里不讨论。另一个目的是加快数据传送速度。把不常用的数据编成长码，常用的编成短码，就能降低码的平均长度，而传送更多的数据。上文开始时介绍的摩斯码就是这个原理。我们现在常用zip程式来压缩文档，也是如此。在通信中，这种编码叫做源编码，有时也称数据压缩。香农在这方面也有开创性的工作，按下不表。第三个目的，就是纠正噪声引起的传送错误。这在上文中也有简单介绍。这种编码就叫信道编码,也叫纠错码。 香农在证明他的信道容量定理中，引进了“典型序列”的概念。典型序列就是指序列中的符号出现的比例与符号的先验概率相同。对于足够长的序列，所有出现机率不为零的序列都是典型序列。通过选取一些典型序列作为码字，香农证明了最大传送速率。但是这个概念实行起来有困难。很长的序列在编码和解码两方面都会非常困难。而如果序列不长的话，就无法利用“典型序列”的概念。所以，香农给出的传输速率，在几十年中都不能达到。 信道编码的类型 编码类型在近几十年中经历了几个不同的的阶段。最早的编码类型是分组码。这也是最容易理解的一种码。顾名思义，分组码这种编码方式就是把输入数据分为长度固定的组，对每一组分别编码。比如，最早的分组码是汉明码，写为（7，4，3）。它的意思是把数据分成4个比特一组，所以共有2的4次方，也就是16
信道编码的发展与应用 摘要：在有扰离散信道上，只要信息传输速率不大于信道容量，就总可以找到一种信道编码方式来实现无误传输。这就是信息论的开创者香农在1948年提出的信道编码定理。信道编码定理给信道编码的研究指出了明确的方向。本文介绍了几种主要的信道编码、译码原理，分析了他们的实现方法和性能，并对各种编码的优缺点进行了总结，在给出信道编码的应用实例的基础上对信道编码的未来进行了展望。关键词：信道编码；分组码；卷积码；级联码；Turbo码信息与通信系统中的编码有4种形式：信源编码、信道编码、密码编码和多址编码。信源编码解决了通信系统的有效性问题，通过压缩信源冗余信息来提高通信的效率；信道编码则是通过增加冗余位来达到保证通信系统的可靠性（通过牺牲宽带或传输速率来换取可靠性），其基本思想是根据相关性来检测和纠正传输过程中产生的差错；密码编码则是保证了系统的安全性；多址编码主要是解决多用户通信问题。 香农第二编码定理证明，用任意接近信道容量C的传输速率R传送并且传输的差错率可以任意小的编码方法是存在的。香农还从理论上证明了，即使是随机编码，只要码组长度无限，就可以找到一种信道编码方式来实现无误传输。信道编码的任务就是寻找这种编码的。 1 信道编码的分类 1.1 分组码 把信息序列以每k个码元分组，然后把每组k个信息元按一定规
律产生r 个多余的校验元，输出序列每组长为n k r =+。每一码字的r 个 校验元只与本组的k 个信息元有关，与别的信息位无关，记为分组码 (n,k)。 线性分组码是最有实用价值的一类码，比如汉明码、Golay 码、 RS 码、BCH 码等都属于线性分组码。分组码线性是指码组中码元的约 束关系是线性的，而分组则是对编码而言。线性分组码的编码方式是 将信源输出序列分组，每组是长为k 的信息序列，然后按照一定的编 码规则插入n k -位的校验位，校验位是所有信息位的线性组合，组成 n 长的码字序列。线性分组码可以用近世代数理论中有限维有限域的 矩阵来描述。 线性分组码生成矩阵为G ，信息矢量为1(,...,)k u u u =，则编码输出 为: 1k n c k u G ?=? 如果生成的是系统码, 即原始的信息出现在编码中, 则生成矩阵 k n G ?可改写为: ():k G Q I = 其中: k I 表示k 阶单位阵，Q 为()k n k ?-阶阵。 线性分组码用于译码的校验矩阵为H ,满足0T H c =和0T H G =。 对于系统码而言,其校验矩阵为():n k H Q I -=，Q 为()k n k ?-阶阵, n k I -为n k -阶单位阵。由此可知线性分组码的生成矩阵和校验矩阵的行矢 量彼此正交。 线性分组码的性质是：
《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同 的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)