《信息技术基础》教学大纲
一、课程的性质和目的
当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业（信息安全方向）的专业课程。通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，讨论了信道编码理论以及各种常用的信道编码方法。而且针对信息安全的具体问题，研究了信息论的应用，信息论与安全理论的关系。本课程为以后开设的专业课程打下了坚实的基础，也为学生更好的理解信息安全理论奠定了基础。
二、课程教学内容及学时分配
1.绪论(2学时)
本章要求了解信息论的形成和发展，了解信息，信号，消息的区别和联系；掌握通信系统的模型。
本章的主要内容为：信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。
2.离散信源及其信息测度(10学时)
本章要求掌握信源的数学模型，了解信源的分类；掌握离散信源熵，了解信息熵的基本性质；掌握离散序列信源及马尔可夫信源信息熵的求法。
本章的主要内容为：信源的数学模型及分类，离散信源熵及其性质，离散序列信源的熵，离散平稳信信源的极限熵，马尔可夫信源，信源剩余度。
3.离散信道及其信道容量(10学时)
本章要求掌握信道的数学模型，了解信道的分类；掌握平均互信息的定义，了解平均互信息的特性；了解离散信道信道容量的一般计算方法，会计算对称离散信道的信道容量；理解数据处理定理以及信源与信道匹配的意义。
本章的主要内容为：信道的数学模型及其分类，平均互信息及其特性，信道容量及其一般计算方法，数据处理定理，信源和信道的匹配。
4.无失真信源编码(8学时)
本章要求了解码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等；理解定长编码定理和变长编码定理；了解几种编码方法：香农编码方法、费诺编码方法、MH编码及算术编码；掌握哈夫曼编码方法；会确定编码效率。
本章的主要内容为：编码器，码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。
5.有噪信道编码(6学时)
本章要求了解几种译码规则；理解有噪信道的编码定理及联合信源信道编码定理；掌握汉明码的编译码方法；了解其他线性分组码的概念。
本章的主要内容为：错误概率及译码规则，有噪信道编码定理，联合信源信道编码定理，纠错码的基本思想和汉明码，线性分组码、卷积码、网格编码调制与级联码简介。
6.波形信源和波形信道(6学时)
本章要求掌握不同条件下连续信源的最大熵定理；了解连续信道和波形信道的分类；掌握香农公式及其意义；理解连续信道编码定理；了解香农定理在移动通信中的应用。
本章的主要内容为：连续信源的差熵，具有最大熵的连续信源，连续信道和波形信道的分类，高斯白噪声加性波形信道的信道容量，连续信道编码定理。
7.限失真信源编码(6学时)
本章要求理解平均失真和信息率失真函数的定义、R(D)的定义域和单调性等性质；理解限失真信源编码定理及其实用意义；了解JPEG等数据压缩标准等限失真信源编码的应用。
本章的主要内容为：平均失真和信息率失真函数，R(D)的定义域和单调性等性质，限失真信源编码定理，常用的信源编码方法简介，游程编码。
8.信息论的应用(6学时)
本章要求了解传统加密算法和公开秘钥加密算法原理；掌握RSA算法；了解AES及其应用，了解信息安全新技术。
本章的主要内容为：保密学应用：传统加密算法和公开秘钥加密算法如DES，RSA，AES等。
三、课程教学的基本要求
本课程是信息与计算科学专业（信息安全方向）的专业课程，理论性较强，是本专业的理论基础课程。在教学方法上，采用课堂讲授，课后自学，课堂讨论等教学形式。
(一)课堂讲授
本课程属基础理论课程，涉及到较多的数学知识，在讲述的过程中教师应尽量联系生产生活实际，注重物理意义，不要陷入到繁复的数学推导之中。在教学中要求同学重点掌握信源、信道、信源编码、信道编码的基本概念、基本方法，要着重培养学生定性分析、定量估算和动手上机实验的能力，在学习理论知识和计算的基础上，更多的讲解课本上没有涉及的工程背景及工程应用，以培养学生的兴趣。在课程内容方面既要保持理论的系统性，又要注意联系工程实际，并且重视信息论与现代通信系统尤其是信息安全相结合的问题及应用，培养学生理论联系实际的能力。
（二）课后自学
为了培养学生整理归纳，综合分析和处理问题的能力，每章都安排一部分内容，课上教师只给出自学提纲，不作详细讲解，课后学生自学。
（三）课堂讨论
课堂讨论的目的是活跃学习气氛，开拓思路，提高学生的创新能力和团队协作精神。教师应认真组织，安排重点发言，充分调动每一名同学的学习积极性，做好总结。
（四）习题课
习题课以典型例题分析为主，并适当安排开阔思路及综合性的练习及讨论。
（五）课外作业和期中考试
课外作业的内容选择基于对基本理论的理解和巩固，培养综合计算和分析、判断能力以及使用计算工具的能力。习题以计算性小题为主，平均每学时１-２道题。另外，针对具体的与信息安全直接相关的信道编码及密码学问题，安排学生上机实验，并交作业。
期中考试安排学生自己分组做PPT并选代表讲解，旨在提高学生的自学能力和口头表达能力；并让学生写出自己的学习心得，可以查找网络资源，旨在培养学生的兴趣以及提高他们的知识面；练习几个与实际结合紧密的作业题，旨在让学生理论联系实际，培养他们的思维能力。
（六）考试
考试可采用开卷形式。闭卷部分的试题包括基本概念，基本理论和计算，题型可采用填空，简答，计算等方式。
总评成绩：课外作业和期中考试占30%；期末闭卷考试占60%。
四、本课程与其它课程的联系与分工
先修课程：线性代数，概率论与数理统计，数学分析。信息论基础可以加深学生对这些先修课程的理解和应用，让学生清楚的知道数学基础课的用途，通过这门课，加深对信息安全理论的理解。
五、建议教材与教学参考书
［1］《信息论—基础理论与应用》傅祖芸主编，电子工业出版社
［2］《信息论及其应用》仇佩亮编著，浙江大学出版社
［3］《信息论与编码》仇佩亮编著，高等教育出版社
［4］《信息论与编码》曹雪虹张宗橙编著，清华大学出版社
［5］《信息论基础》（美）科弗（美）托马斯阮吉寿等，机械工业出版社
1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具
《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)
《信息论与编码》课程教学大纲、课程基本信息 二、课程内容及基本要求 第一章绪论 课程内容：
1 ?信息论之父--香农；信息论与香农信息论的形成与发展；香农信息论的中心 问题及其局限性； 2．信息、消息、信号、信息的本质、信息的广义性； 3．通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1．了解信息论之父---Shannon（香农）和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2．理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3．熟悉通信系统的基本模型及各模块的主要功能。 本章重点香农信息论的中心问题、通信系统模型 本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章信源、信息量和信息熵 课程内容： 1．无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源； 2．非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息； 3．熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4．数据处理中信息的变化、连续信源熵；5．凸函数、互信息量的凸性，冗余度。 基本要求： 1．了解并掌握信源的分类与特点； 2．理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均
互信息之间的关系； 3．理解马尔可夫信源的概念、理解离散序列信源熵的概念； 4．理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质； 5．理解凸函数的含义和性质；了解凸函数在信息论中的应用。 本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质 本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章信源编码 课程内容： 1．编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2．无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3．限失真信源编码；常用信源编码--- 游程编码、算术编码、预测编码、变换编码。 基本要求： 1．理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用； 2．理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编 码的特点与编码原理； 3．掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费 诺编码原理；掌握哈夫曼编码原理； 4．了解常用限失真信源编码方法—算术编码、游程编码、预测编码及变换编码的编码原理。
信息论基础发展史 信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。 通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。 当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
附件1 广东财经大学华商学院课程教学大纲模板 一、课程简介 人工智能是计算机与自动化学科的一门分支学科。它研究如何用机器来模仿人脑所从事的推理、证明、识别、理解、学习、规划、诊断等智能活动。人工智能是当前科学技术中正在迅速发展，新思想、新观点、新技术不断涌现的一个学科，也是一门涉及数学、计算机科学、控制论、信息论、心理学、哲学等学科的交叉和边缘学科。人工智能原理是计算机科学技术类专业的应用学科。前修课程包括：离散数学、数据结构、算法分析与设计等，后续课程：专家系统，知识工程。 二、教学目标 （1）熟练掌握图搜索策略，熟练掌握回溯策略、图搜索策略的过程以及算法（BACKTRACK 以及AI算法），掌握一些典型问题的启发式函数； （2）掌握用命题逻辑、一阶逻辑表示知识的方法，并在此基础上进行推理，熟练掌握归结方法以及归结反驳过程，熟练掌握利用归结反驳方法进行推理。 （3）掌握基于贝叶斯规则的不确定性推理，掌握条件概率、独立、条件独立及贝叶斯公式；掌握利用贝叶斯定理检测垃圾邮件的基本方法。 三、主要教学模式和教学手段 1．本课程的教学包括课堂讲授、课外作业、辅导答疑、上机实验和期末考试等教学环节。
2．课堂教学采用启发式教学方法，理例结合，多媒体并用，引导学生加深对课程内容的理解，提高学生的学习兴趣和效果。 3．理论联系实际，通过本课程的教学，力争使学生在理解和掌握大纲所要求的知识内容的基础上，能正确地运用这些知识解决有关实际问题。 四、教学内容（要求编写所有章节的主要内容） 第一章人工智能概述 基本内容和要求： 1．人工智能的概念与目标； 2．人工智能的研究内容与方法； 3．人工智能的分支领域； 4．人工智能的发展概况。 第二章逻辑程序设计语言Prolog 基本内容和要求： 1．掌握Prolog语言的语句特点、程序结构和运行机理； 2．能编写简单的Prolog程序，能读懂一般的Prolog程序。 教学重点： Prolog程序设计。 教学难点： 表与递归，回溯控制 第三章基于图搜索的问题求解 基本内容和要求： 1．掌握状态图的基本概念、状态图搜索基本技术和状态图问题求解的一般方法，包括穷举式搜索、启发式搜索、加权状态图搜索和A算法、A*算法等； 2．掌握与或图的基本概念、与或图搜索基本技术和或图问题求解的一般方法； 3．理解一些经典规划调度问题（如迷宫、八数码、梵塔、旅行商、八皇后等问题）的求解方法； 教学重点：
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
《教育信息处理》课程教学大纲 一、课程基本情况与说明 （一）课程代码： （二）课程英文名称： Educational Information Processing （三）课程中文名称：教育信息处理 （四）授课对象：教育技术学本科生。 （五）开课单位：工学院 （六）先修课程：高等数学、概率统计和线性代数等。 （七）教材及参考书目 [1] 《教育信息处理》，傅德荣, 章慧敏编著，北京师范大学出版社，2004年； [2] 《现代心理与教育统计学》张厚粲，徐建平著，北京师范大学出版社，2004年； [3] 《SPSS在教育统计中的应用》杨晓明编，高等教育出版社，2004年； [4] 《教育信息处理原理》,薛理银，北京师范大学出版社，1996年； [5] 《教育信息论》,张铁民，江苏教育出版社，1990年； [6] 《应用多元分析》,樊家琨，河南大学出版社，1993年。 （八）课程性质 《教育信息处理》是教育技术专业必修课程，基本目的是提高学生综合素质，掌握运用信息技术、教育技术的基本能力，适应教育发展、改革和人才需求的需要。教育信息处理是以信息科学的思想与理论，技术与方法对教学过程进行研究、分析的一门综合性应用型新兴学科，具有很强的实践性。本课程介绍了教育信息处理的常用技术和方法，它们可以用于规划、设计和评价各类教育信息系统。具体内容包括：信息论基础、多元统计方法、解释结构模型法、结构化文本设计技术、教学分析、测试于测试理论、学生集团应答分析、s-p表分析法、生理信息与教学过程。教育信息处理的研究与应用，不仅能有效地促进教育技术学的发展，它对教育信息化、教育现代化，它对当前的教育改革、创新人才的培养也具有重要的意义。 （九）教学目的
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下：
数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求：
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码
第6章网络信息论 （教学要求：A—熟练掌握；B—掌握；C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段 常规教学与多媒体教学相结合。
信息论基础知识
主要内容：
信源的数学模型 信源编码定理 信源编码算法 信道容量 通信的容限
第 1 页 2011-2-21
引言
一、信息论的研究范畴 信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。 狭义信息论：通信的数学理论，主要研究信息的度量方 法，各种信源、信道的描述和信源、信道的编码定理。 实用信息论：信息传输和处理问题，也就是狭义信息 论方法在调制解调、编码译码以及检测理论等领域的应用。 广义信息论，包括信息论在自然和社会中的新的应用， 如模式识别、机器翻译、自学习自组织系统、心理学、生物 学、经济学、社会学等一切与信息问题有关的领域。
第 2 页 2011-2-21
二、信息论回答的问题
通信信道中，信息能够可靠传 输的最高速率是多少？
噪声信道编码定理 噪声信道编码定理
信息进行压缩后，依然可以从已压 缩信息中以无差错或低差错恢复的 最低速率是多少？
香农信源编码理论 香农信源编码理论
最佳系统的复杂度是多少？
第 3 页
2011-2-21
三、香农的贡献
香农(Claude Elwood Shannon,1916～2001年)， 美国数学家，信息论的创始人。
创造性的采用概率论的方法来研究通信中的问题，并且对 信息给予了科学的定量描述，第一次提出了信息熵的概念。 1948年，《通信的数学理论》(A mathematical theory of communication ) 以及1949年，《噪声下的通信》标志了信息论的创立。 1949年，《保密通信的信息理论》，用信息论的观点对信息保密问题做了 全面的论述，奠定了密码学的基础。 1959年，《保真度准则下的离散信源编码定理》，它是数据压缩的数学基 础，为信源编码的研究奠定了基础。 1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研 究；
第 4 页 2011-2-21
［标签:标题］ 篇一：信息技术能力提升学习感想 信息技术应用能力提升学习感想 当今社会是一个信息化的社会，人们无时无刻都处在一个信息交互的状态，随着信息技术的不断发展，多媒体教学成为活跃课堂、调动学生学习积极性的一种主要手段。因而，对于教师而言，信息技术手段的掌握和应用是我们必须掌握的一门技术。接到学校部署的“信 息技术应用能力提升”的网络学习任务，故而倍加珍惜这次研修学习的机会。 通过这次培训，我收获颇丰。在教学中必然要打破传统的传授式的教学模式，而构建出适应信息社会的新型教学模式来。我深深体会到： 信息技术对教师的重要作用。我清楚地认识到随着以计算机为核心的信息技术在教育中的广泛应用，教师不是像以前那样，单凭一张嘴、一支粉笔、一块黑板即可进行教学，而是综合应用多种媒体技术，利用多媒体和微机网络，开展教学。教师不能只停在原有知识的认识上，要不断学习，不断完善自己，不断充实自己。现在的学生更是聪明，他们不仅能在学校里学习知识，还能通过电视、网络等多种途径学到更多的知识。因而，教师必须有一种超前 意识。 在教育系统中，教育信息是最活跃的因素。教育系统本身要求教师具备一定的信息素养， 教师可以通过网络学习新知识，可以与同行交流经验，可以与学生进行沟通，可以,多渠道 掌握计算机操作技术，提升信息技术应用能力。 这次培训的时间虽然短些，但我通过学习认识到计算机的重要性，我会在今后的工作中，充分利用学到的知识进行教育教学，创新信息技术教学手段，提高信息技术应用能力。篇二：信息技术提升培训心得体会 小学语文信息技术提升工程 培训心得体会 关市镇盘石完小綦恒柏这次我有幸参加了小学语文信息技术提升工程培训，通过这次培训，对我今后的语文教育教学方法产生极大影响，感受到教学工作的艰巨。同时对我们各方 面的能力有了很大提高，特别是对信息技术的综合运用能力，现在已不只停留在课件的简单 制作上。使我们认识到做为一名语文教师应积极主动吸纳当今最新的技术，并致力于把它们 应用于课堂内的教与学活动中，在这短短的培训中深深的体会到： 1、通过本次的培训分清楚了教育技术和信息技术这两个概念。教育技术必须以信息技术为 基础，但却并不同于信息技术。教育技术中的技术包括有形技术和无形技术。有形技术是教育技术的依托，无形技术是教育技术的灵魂。教育技术的有效运用，是要在先进的教育思想、理论的指导下合理地选择有形技术，将其有机的结合在一起，应用到实际教学中。而信息技 术是指一切能够扩展人类有关器官功能的技术。我们在日常的教育教学中，要合理的运用现 代教学技术为我们的课堂增添情趣，为我们的教育教学有一个良好的结果奠定基础。 2、通过培训对信息技术的运用有了一个质的飞跃，一改过去的“多媒体可有可无”的落后 思想，我们积极采用信息技术与各学科的整合并初显成效，可以说终于尝到了信息化教学的 甜头。听了六堂课后，充分相信这些对课堂教学质量的提高提供了很好的保证。 3、教师具备良好的信息素养是终生学习、不断完善自身的需要。信息素养是终生学习者具 有的特征。在信息社会，一名高素质的教师应具有现代化的教育思想、教学观念，掌握现代 化的教学方法和教学手段，熟练运用信息工具（网络、电脑）对信息资源进行有效的收集、 组织、运用；这些素质的养成就要求教师不断地学习，才能满足现代化教学的需要；信息素
信息论回答了通信的两个最基本问题: （1）数据压缩的极限； （2）信道传输速率的极限； 信息、消息和信号 消息：信息的載體（能被感知和理解、進行傳遞和獲取） 信息：事物運動狀態或存在方式的不確定性的描述（香農）先驗概率：P(a i) 自信息：I(a i)=log[P-1(a i)]；（信息接收的不確定性） 互信息：I(a i;b i)= log[P-1(a i)]- log[P-1(a i|b i)]; （信息接收的多少度量） （若信道無干擾，則互信息等於自信息等於0） 優點：明確的數學模型、定量計算； 缺點：有適用範圍； 信號； 通信系统的模型 通信系统的基本要求:有效、可靠、保密、认证 2. 离散信源及其信息测度 ﹣离散信源的定义：輸出信息數有限、每次只輸出一個； ﹣自信息的定义及物理意义 事件發生前：事件發生的不確定性； 事件發生后：時間含有的信息量； 信息熵的定义及物理意义,信息熵的基本性质 定義：自信息的數學期望（ H(X)= -∑[ P(a i)logP(a i) ] ）信源的總體信息測度 （1）每個消息所提供的平均信息量；
（2）信源輸出前，信源的平均不確定性； 性質：（1）對稱性；（2）確定性； （3）非負性；（4）擴展性（可拆開）； （5）可加性；[ H(XY)=H(X)+H(Y) ] （6）強可加性；[ H(XY)=H(X)+H(Y|X) ] （7）遞增性； （8）極值性; [ H(p1,p2,p3…,p q)≤H(q-1,,…, q-1)= logq ] 等概率分佈信源的平均不確定性最大，稱為最大離散熵定理； —离散无记忆信源的扩展信源 —扩展信源的熵 H(X) = NH(X) —离散平稳信源：联合概率分布与时间起点无关； 熵：联合熵 H(X1X2)=∑∑P(a i a j)logP(a i a j) 条件熵 H(X2|X1)=-∑∑P(a i a j)logP(a i|a j) 关系：H(X1X2)=H(X1)+H(X2|X1) 熵率:离散平稳信源的极限熵 = limH(X N|X1X2…X N-1) —马尔可夫信源:某一时刻的输出只与此刻信源所处的状态有关而与以前的状态及以前的输出符号都无关； —马尔可夫信源的熵：H m+1=H(X m+1|X1X2…X m) —信源剩余度 熵的相对率η= H极限/H0 信源剩余度（输出符号间依赖强度）γ= 1-η=1-H极限/H0 3. 离散信道及其信道容量 —H(X;Y)=H(X)-H(X|Y) —离散信道的数学模型 —信道矩阵性質 （1）P(a i bj)=P(a i)P(b j|a i)=P(b j)P(a i|b j)；
《信息论与编码技术》教学大纲 一、课程信息 课程代码：T0808007 课程名称：信息论与编码技术 英文名称：Information Theory and Coding Techniques 课程类别：拓展课 总学时：36 学时 理论学时：36 学时 实践学时：2 学时 学分： 2 学分 开设学期：第6学期 适用对象: 通信工程本科专业学生 考核方式：考查 先修课程：信号与系统，数字信号处理，通信原理，概率论与数理统计 大纲拟定人：张岩 大纲审定人：吴顺伟 二、课程简介 《信息论与编码技术》课程是通信工程专业的专业拓展课，是通信工程专业的选修课程。本课程的主要内容是应用概率统计方法来研究信息的传输、存储和处理，建立通信系统的统计模型，对系统中的每个部分进行系统地描述，信息论理论应用于信源和信道就是编码。信息论与编码技术是一门对现代科学技术的发展具有重大的影响学科。本课程的教学目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。 第一章：概论 教学目标和要求：了解信息论的发展的历史，特别是香农信息论的发展；了解本书的主要内容；了解通信系统的模型，信息的传递，概率统计模型。 教学重点与难点：通信系统的数学模型
实践环节：无 建议使用的教学方法与手段：图文结合多媒体讲授 教学学时：理论2学时实践0学时 第一节信息论的发展概况 信息的一般概念；香农信息定义；信息论与编码发展简史、数字通信系统模型 第二节信息论与编码理论的主要内容 第二章：信息熵 教学目标和要求：掌握熵的定义及其性质，掌握各种信源信息熵的相关理论，会计算各种信源的信息熵。 教学重点与难点：信息熵的定义及各种熵的计算 实践环节：无 建议使用的教学方法与手段：图文结合多媒体讲授 教学学时：理论10学时实践0学时 第一节单符号离散信源 信源的数学模型及分类：信源的数学模型；信源的分类，离散信源的信息熵及其性质。自信息；信源的信息熵；熵的基本性质。 第二节多符号离散信源 离散无记忆信源的扩展信源，离散平稳信源，平稳信源的概念；二维平稳信源；一般离散平稳信源 第三节连续信源 单符号连续信源的熵；波形信源的熵；最大熵定理。 第四节离散无失真信源编码定理 第三章：信道容量 教学目标和要求：了解信道容量的定义，掌握各种信道的信道容量的计算方法 教学重点与难点：特殊信道的信道容量；连续信道的信道容量。 实践环节：无 建议使用的教学方法与手段：图文结合多媒体讲授 教学学时：理论6学时实践0学时
《信息论基础》教学大纲 课程编号：CE6006 课程名称：信息论基础英文名称：Foundation of Information Theory 学分/学时：2/32 课程性质：选修课 适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院 一、课程的教学目标与任务 本课程是信息安全，网络工程专业选修的一门专业基础课。通过课程学习，使学生能够 较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有 效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。 本课程的教学目标： 本课程对学生达到如下毕业要求有贡献： 1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。 2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分 析复杂工程问题，以获得有效结论。 完成课程后，学生将具备以下能力： 1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。 2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信 息安全、网络工程专业的复杂问题。 本课程的性质： 本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。 二、课程具体内容及基本要求 （一）绪论（2学时） 1.基本要求 （1）掌握消息、信息和信号；噪声和干扰的基本概念 （2）掌握通信系统模型 （3）明确Shannon信息论要解决的中心问题 2.重点与难点 （1）重点：掌握通信系统模型的构成及其相应功能 （2）难点：理解Shannon信息论要解决的中心问题
1．消息定义 信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。 信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。 信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。 信息的广义概念 信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和 运动状态变化的方式。 语法信息(语法信息是指信息存在和运动的状态与方式。) 语义信息(语义信息是指信宿接收和理解的信息的内容。) 语用信息(语用信息是指信息内容对信宿的有用性。) 2．狭义信息论、广义信息论。 狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。 广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。 3.自信息 互信息 定义 性质及物理意义 自信息量： ()log ()i x i I x P x =- 是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e 时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。 自信息物理意义: 1.事件发生前描述该事件发生的不确定性的大小 2.事件发生后表示该事件所含有（提供）的信息量 互信息量: 互信息量的性质：1) 互信息的对称性 2) 互信息可为零 3) 互信息可为正值或负值 4) 任何两个事件之间的互信息不可能大于其中任一事件的自信息 互信息物理意义: 1.表示事件 yj 出现前后关于事件xi 的不确定性减少的量 2.事件 yj 出现以后信宿获得的关于事件 xi 的信息量 4.平均自信息性质 平均互信息性质 平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）： (;)()(|)i j i i j I x y I x I x y =-log ()log (|)(1,2,,;1,2,,)i i j p x p x y i n j m =-+=?=?(|)log ()i j i p x y p x =1 ()[()][log ()]()log ()n i i i i i H X E I x E p x p x p x ===-=-∑
《新闻传播学》课程教学大纲 课程编码：301002021 学分：2.0 总学时：36 说明 【课程性质】 《新闻传播学》为通识教育课。 【教学目的】 这门课主要的教学目的是讲授马克思主义新闻传播学基本原理。通过本课程的学习，应使学生初步掌握马克思主义新闻观，认识新闻传播活动和新闻事业的性质、特点、作用，以及它们产生与发展的一般规律；理解新闻事业同政治、经济和社会生活的关系；懂得新闻伦理和新闻从业人员的修养要求。 【教学任务】 通过一个学期的学习，要求同学们掌握新闻传播和新闻事业的基本特点与基本规律，初步树立马克思主义新闻观，能够应用所学理论正确分析新闻现象和指导新闻实践，为学习其它专业课程打下基础。 具体要求是：１．了解新闻传播学原理的基本知识；２．理解和掌握新闻传播和新闻事业的基本原理；３．掌握社会主义新闻工作的基本原则；４．能够运用新闻传播基本原理和原则分析一般的新闻现象，指导新闻工作实践。 【教学内容】 新闻传播学，作为一门由新闻学、传播学在跨学科综合、交叉基础上形成的新兴学科，在国内外均属年轻学科，本课程的重点是传播本质、模式、功能与原则等传播学的知识体系；其难点是传受心理机制、新闻性质功能、新闻媒介的社会控制功能、新闻自由限度等方面的理解与运用。本课程是一门实践性十分强的学科，必须在教学中贯彻理论联系实践原则，在实践中理解、掌握、深化。 【教学原则和方法】 教学原则：新闻传播学，是从现代传播学视角来探讨新闻学原理的一门新型课程，具有传播学与新闻学双重性，其学科的交叉性、互渗性、创新性相当突出，因而 又是比较难以把握的一门新学科。因而，必须在教学中以马克思主义科学世 界观和方法论为指导，结合现代西方新闻学与传播学知识体系，讲授马克思 主义新闻传播学的基本理论和基本知识，观点力求明确，方法务必科学，介 绍切忌片面。教学中贯彻理论联系实际的原则，引导学生解读当代新闻活动、 关心传播实践，提高分析问题和解决问题的能力。 教学方法：在分析工具与思维方法方面，要将科学思维与理论思维方法结合起来，将定性分析与定量分析结合起来，采用新闻、政治、经济、文化综合考察的方法 来学习理论，分析实际。 【先修课程要求】
重庆邮电大学2007/2008学年2学期 《信息论基础》试卷（期末）（A卷）（半开卷） 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展， 则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与 其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)
相关主题
文本预览