信息论基础教学大纲

信息论课程教学大纲Information Theory一、课程教学目标1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。

编码技术是信息论的重要分支的基础。

它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。

通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。

课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。

2、知识要求：通过一个学期的学习要达到如下要求:1)掌握平均信息量—熵的概念，了解信息论的基本知识和信道容量的计算。

2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。

3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。

4)掌握伪随机码的基本概念，m序列码的产生及应用。

先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。

3、能力要求：本课程重点是通过讲解信息论与编码技术使学生掌握提高信道传输的“有效性”和“可靠性”的基本理论。

二、教学内容的基本要求和学时分配1.信息论与编码课程教学学时数分配表：2．具体要求第一章绪论[目的要求]了解信息论的产生、发展、应用，为以后学习打下基础[教学内容] 信息论研究的内容，信息的基本概念，通信系统模型及模型中各部分的作用，编码的种类[重点难点] 讲清通信系统模型及模型中各部分的作用。

[教学方法] 书本与多媒体课件相结合[作业] 无[课时] 3学时第二章信源及信源熵[目的要求] 弄清信源及信源熵的概念，深刻理解最大熵定理[教学内容] 信息论的基本概念，包括自信息量、条件自信息量、互信息量、条件互信息量、平均互信息量、单符号熵、熵的性质以及连续信源熵、最大熵定理和随机序列的熵等，解释冗余度的由来及作用[重点难点]重点是信息量、平均信息量、最大熵定理等概念的理解，难点是运用这些概念解决分析问题[教学方法] 书本与多媒体课件相结合，讲授与课堂讨论相结合[作业] 读书笔记一篇[课时] 9学时第三章无失真信源编码[目的要求] 掌握信源编码的意义，掌握最佳信源编码的概念及编码方法[教学内容] 无失真信源编码定理，包括定长编码定理和变长编码定理，详细阐述最佳编码中的香农码、费诺码和霍夫曼码的编码方法及其性能比较[重点难点]重点是香农码、费诺码和哈夫曼码为代表的最佳码的编码方法，难点是对无失真信源编码定理的理解。

《信息论基础》教学大纲课程编码：1512105602课程名称：信息论基础学时/学分：36/2先修课程：《概率论与数理统计》、《随机过程》、《信息科学导论》适用专业：信息与计算科学开课教研室：信息与计算科学教研室一、课程性质与任务1．课程性质：本课程是信息与计算科学专业的一门专业选修课，是拟从事通信及相关行业工作的学生所必修，为本科三年级学生所选修。

2．课程任务：通过本课程的学习，学生应熟练掌握离散（连续）条件下的熵、条件熵、相对熵、互信息的概念，熟练掌握有（无）失真条件下的信源（信道）编码定理和一些常用编码并能熟练的应用它们，为今后的学习与科研打下坚实的基础。

二、课程教学基本要求掌握信息的基本理论，理解离散信源、连续信源的有关理论，熟练掌握信息、信息熵、条件熵、联合熵、互信息等的计算，了解通信系统的整个过程，熟练掌握基本的信源编码方法和信道编码方法，会判定信源码、信道码的优劣。

本课程主要以课堂讲授为主，在教学方法和手段上采用现代教育技术。

成绩考核形式：期终成绩（考查）（70%）＋平时成绩（平时测验、作业、课堂提问、 课堂讨论等）（30％）。

成绩评定采用百分制，60分为及格。

三、课程教学内容第一章 随机变量的信息度量1.教学基本要求理解和掌握的定义和计算式，理解有关熵的一些基本性质，了解广义熵及相互间的关系。

2.要求学生掌握的基本概念、理论通过本章学习，使学生能准确理解并掌握信息、熵、联合熵、条件熵等有关信息量的定义及计算式，理解熵的基本性质，了解广义熵的多种形式并了解它们之间的关系。

3.教学重点和难点教学重点是要让学生掌握熵的概念和性质，熟练计算熵、联合熵、条件熵、相对熵和互信息，并会用熵求解一些实际问题。

4.教学内容第一节 自信息第二节 熵、联合熵、条件熵第三节 相对熵和互信息第四节 信息量的一些基本性质第五节 广义熵第二章 随机过程的信息度量和渐进等分性1.教学基本要求理解和掌握信源、随机过程的基本概念，掌握无记忆信源、马氏信源、平稳性、遍历性，理解AEP性质，理解AEP性质在数据压缩中的应用，了解香农-麦克米兰-布瑞曼定理。

《信息论基础》课程教学大纲课程编号：总学时数：48总学分数：3课程性质：专业必修课适用专业：一、课程的任务和基本要求：信息论基础即香农信息论是研究信息处理的数学规律性的数学理论分支之一，是以概率论和随机过程为主要工具研究通信系统极限性能的科学理论。

重点解决关于信息传输的有效性和可靠性的理论问题，是信息科学与相关专业的必修专业课程。

本课程的指导思想是既要到理论的严谨性,更要考虑本专业的实用性,既要求掌握基本原理,又要求了解新理论与新技术。

通过该门课程的学习，期望学生能较好地理解香农信息论的基本思想与基本原理，掌握几个基本运算方法，培养学生利用信息论的基本原理分析和解决实际问题能力，从而提高学生的数学素质，加强学生开展科研工作能力。

为今后进行更深入的研究奠定良好的理论基础。

二、基本内容和要求：第1章绪论§1.1 基本概念§1.2 数字通信系统模型§1.3 信息论与编码理论研究的主要内容和意义要求：理解信息论的形成与发展，通信系统模型，掌握信源、信宿、信道、信息、消息、信号等基本概念，了解通信系统信源编码器、信道编码器有关基本原理及功能。

第2章信源及其熵§2.1 信源的数学模型和分类§2.2 离散信源的信息熵及其性质§2.3 离散无记忆信源的扩展信源§2.4 离散平稳信源§2.5 连续信源的信息熵§2.6 信源的冗余度§2.7 离散无失真信源编码定理要求：理解信源的分类与描述方式，掌握自信息量、信源熵、互信息等相关的基本概念、公式以及熵的基本性质，了解最大熵定理及其冗余度的相关问题。

第3章信道及其容量§3.1 信道的数学模型与分类§3.2 信道疑义度与平均互信息§3.3 离散无记忆的扩展信道§3.4 离散信道的信道容量§3.5 连续信道的信道容量§3.6 信源与信道的匹配§3.7 信道编码定理要求：理解信道模型及其相关的实际信道，掌握信道容量的概念并会计算各种信道的信道容量。

信息论教学大纲一、课程概述信息论是一门应用概率论、随机过程、数理统计和近世代数等方法，来研究信息的存储、传输和处理中一般规律的学科。

它为通信、计算机科学、统计学等多个领域提供了理论基础。

本课程旨在使学生系统地掌握信息论的基本概念、基本原理和基本方法，培养学生运用信息论知识分析和解决实际问题的能力。

二、课程目标1、使学生理解信息的度量、信源和信道的数学模型。

2、掌握信息熵、互信息、信道容量等重要概念和计算方法。

3、能够运用信息论的原理分析通信系统的性能。

4、培养学生的数学推导和逻辑思维能力。

三、课程内容（一）信息的基本概念1、信息的定义和性质介绍不同领域对信息的定义和理解。

探讨信息的不确定性、可度量性等性质。

2、信息的分类按照产生的领域、作用、表现形式等进行分类。

（二）信息的度量1、自信息量定义和计算方法。

举例说明不同概率事件的自信息量。

2、联合自信息量与条件自信息量两者的概念和计算。

与自信息量的关系。

3、信息熵熵的定义和物理意义。

计算离散信源的熵。

（三）信源1、离散无记忆信源数学模型和特点。

熵的性质和计算。

2、离散有记忆信源介绍马尔可夫信源。

计算有记忆信源的熵。

3、连续信源连续信源的熵。

最大熵定理。

（四）信道1、信道的分类按照输入输出的特点分类。

举例说明不同类型信道。

2、信道的数学模型转移概率矩阵。

信道容量的概念。

（五）信道容量1、离散无记忆信道容量计算方法和步骤。

举例分析。

2、离散有记忆信道容量简要介绍计算方法。

3、连续信道容量香农公式及其应用。

（六）信息率失真函数1、失真测度常见的失真度量方法。

失真矩阵的概念。

2、信息率失真函数定义和性质。

计算方法。

（七）信源编码1、无失真信源编码定长编码定理和变长编码定理。

哈夫曼编码方法及应用。

2、有失真信源编码率失真理论。

（八）信道编码1、信道编码的基本概念差错控制的方法。

信道编码的分类。

2、线性分组码生成矩阵和校验矩阵。

纠错能力分析。

四、教学方法1、课堂讲授讲解基本概念、原理和方法，通过实例帮助学生理解。

《信息论基础》教学大纲课程编号：CE6006课程名称：信息论基础英文名称：Foundation of Information Theory学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。

通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。

本课程的教学目标：本课程对学生达到如下毕业要求有贡献：1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。

2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。

完成课程后，学生将具备以下能力：1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。

2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。

本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。

二、课程具体内容及基本要求（一）绪论（2学时）1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题3.作业及课外学习要求（1）阅读IEEE IT 1998年信息论50年专刊（2）数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt（3）信息论与通信、密码、信息隐藏（一）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”http://202.117.112.49/xxl2/dzjiaoan/sponit.mht（二）信息量和熵（8学时）1.基本要求（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质（2）掌握平均互信息的凸性（3）理解信息处理定理2.重点与难点（1）重点：对信息量进行定量描述（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题3.作业及课外学习要求熵、平均互信息的计算、信息处理定理等应用（三）离散信源无失真编码（8学时）1.基本要求（1）掌握离散无记忆源等长编码、不等长编码基本概念（2）掌握离散无记忆信源无失真编码定理（3）掌握Huffman编码（4）理解算术编码和LZ编码基本原理2.重点与难点（1）重点：掌握离散无记忆信源无失真编码定理（2）难点：典型序列的概念及其性质、最佳不等长编码3.作业及课外学习要求离散无记忆信源无失真编码定理、无失真信源编码方法（四）信道容量（6学时）1.基本要求（1）掌握信道容量的基本概念（2）掌握离散无记忆信道、组合信道的信道容量计算2.重点与难点（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算（2）难点：信道的描述方法及信道容量的计算3.作业及课外学习要求信道容量的计算（五）离散信道编码定理（4学时）1.基本要求（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念（3）理解离散信道编码定理2.重点与难点（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理（2）难点：离散信道编码定理3.作业及课外学习要求译码准则的应用、离散信道编码定理的应用（六）信息论在信息安全中的应用（4学时）1.基本要求（1）了解保密系统模型（2）理解保密、认证的信息理论2.重点与难点（1）重点：完善保密性（2）难点：保密的信息理论3.作业及课外学习要求信息论在信息安全中的应用三、教学安排及方式四、本课程对培养学生能力和素质的贡献点信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：五、考核及成绩评定方式理论课最终成绩由平时成绩和期末考试成绩组成。

《信息论基础》教学大纲《信息论基础》教学大纲课程编号：CE6006课程名称：信息论基础英文名称：Foundation of Information Theory学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。

通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。

本课程的教学目标：本课程对学生达到如下毕业要求有贡献：1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。

2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。

完成课程后，学生将具备以下能力：1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。

2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。

本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。

二、课程具体内容及基本要求（一）绪论（2学时）1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题3.作业及课外学习要求（1）阅读IEEE IT 1998年信息论50年专刊（2）数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt（3）信息论与通信、密码、信息隐藏（一）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”http://202.117.112.49/xxl2/dzjiaoan/sponit.mht（二）信息量和熵（8学时）1.基本要求（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质（2）掌握平均互信息的凸性（3）理解信息处理定理2.重点与难点（1）重点：对信息量进行定量描述（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题3.作业及课外学习要求熵、平均互信息的计算、信息处理定理等应用（三）离散信源无失真编码（8学时）1.基本要求（1）掌握离散无记忆源等长编码、不等长编码基本概念（2）掌握离散无记忆信源无失真编码定理（3）掌握Huffman编码（4）理解算术编码和LZ编码基本原理2.重点与难点（1）重点：掌握离散无记忆信源无失真编码定理（2）难点：典型序列的概念及其性质、最佳不等长编码3.作业及课外学习要求离散无记忆信源无失真编码定理、无失真信源编码方法（四）信道容量（6学时）1.基本要求（1）掌握信道容量的基本概念（2）掌握离散无记忆信道、组合信道的信道容量计算2.重点与难点（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算（2）难点：信道的描述方法及信道容量的计算3.作业及课外学习要求信道容量的计算（五）离散信道编码定理（4学时）1.基本要求（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念（3）理解离散信道编码定理2.重点与难点（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理（2）难点：离散信道编码定理3.作业及课外学习要求译码准则的应用、离散信道编码定理的应用（六）信息论在信息安全中的应用（4学时）1.基本要求（1）了解保密系统模型（2）理解保密、认证的信息理论2.重点与难点（1）重点：完善保密性（2）难点：保密的信息理论3.作业及课外学习要求信息论在信息安全中的应用三、教学安排及方式四、本课程对培养学生能力和素质的贡献点信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：五、考核及成绩评定方式理论课最终成绩由平时成绩和期末考试成绩组成。

《信息论基础》课程教学大纲课程代码：030032125课程英文名称：Information Theory Foundations课程总学时：32 讲课：32 实验：0 上机：0适用专业：信息科学与工程学院各专业大纲编写（修订）时间：2017.5一、大纲使用说明（一）课程的地位及教学目标信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。

信息论是应用近代数理统计方法研究信息传输、存贮和处理，并在工程实践中不断发展的一门新兴科学。

本课程是电子信息科学与技术本科的专业基础选修课。

本课程系统地讲授香农信息论的基本内容及应用。

通过本课程的学习，要求学生了解信息系统各部分的主要组成以及作用, 理解和领会信息论的基本概念、理解各类离散信源的信息测度、离散信道的信息传输率及信道容量；理解离散信源无失真编码定理，离散有噪信道编码定理；牢固掌握离散信源的信息率失真理论。

理解连续信源和波形信源的概念及信息测度、连续信道和波形信道的信息传输率及信道容量；了解连续信源的信息率失真理论。

对应用信息论工具研究信息科学问题和信息技术开发方法有一定认识。

（二）知识、能力及技能方面的基本要求知识和能力方面的基本要求：了解和理解信息的定义和测度方法，领会各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理。

理解离散有噪信道编码理论和编码原则。

了解信息系统各部分的主要组成以及作用,理解香农的三大编码定理。

技能方面的基本要求：能够用信息论理论建立工程实践问题的数学模型，能够综合应用信息论的测度方法、香农信息论的三个基本概念和三个编码定理解决实际问题。

（三）实施说明将课堂讲授、自学、研究讨论的方式相结合，使学生从被动吸收知识的状态转化到主动索取知识的状态中来，以提高学生的学习兴趣和学习效果。

课程教学注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。

《信息论基础》教学大纲Information Theory课程编号： 0070307027 适用专业：数学专业执笔：刘立伟适用年级：08-12级 一、课程的性质和教学目的课程性质：专业限选课。

信息理论与技术不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学和经济学等各领域。

教学目的：信息论是研究信息的有效处理和可靠传输的一般规律的学科。

它在社会生活的各个方面有着广泛的应用，是信息与计算科学专业学生的必修课程，该课程的开设有助于培养顺应现代高科技的数学人才。

通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。

二、课程教学内容第一章 信息科学与信息技术概论第二章 信息的度量问题第三章 通信系统概论第四章 信源编码问题第五章 信道编码定理三、课程教学的基本要求本门课程的内容按教学要求的不同，分为两个层次。

文中概念、理论用“理解”、“了解”表述，方法、运算用“掌握”、“会”或“了解”表述。

第一章信息科学与信息技术概论理解信息、信息科学、信息技术、信息产业的概念；了解信息论的产生、发展与应用。

第二章 信息的度量问题理解香农熵、联合熵、条件熵的概念；掌握熵的一些基本性质；理解互熵和互信息的定义；理解连续型随机变量的信息量和最大熵与原理。

第三章 通信系统概论了解通信系统的基本模型和基本问题。

第四章 信源编码问题理解等长码、变长编码、哈夫曼码，算术码等编码问题；掌握通用信源编码中的LZW码和Yang-Kieffer 码运算；了解信源定长码的编码理论。

第五章 信道编码定理掌握离散的无记忆信道和其信道容量的计算；理解信道序列的正、反编码定理；了解可加高斯信道的容量计算问题。

四、课程的教学环节要求教学环节包括：课堂讲授、习题课、课外作业、辅导答疑。

（一）课堂讲授教学方法上尽量采用启发式、讨论式教学，在课堂上多提问题，安排一些自学内容，鼓励学生自学，培养学生的自学能力。

030732004《信息论基础》教学大纲《信息论基础》课程教学大纲课程代码：030732004课程英文名称：Information Theory Fundation课程总学时：32 讲课：32 实验：0 上机：0适用专业：电子信息科学与技术大纲编写（修订）时间：2011-5-10一、大纲使用说明（一）课程的地位及教学目标本课程是电子信息科学与技术专业学生所应必备学习的基础理论课程，是一门专业选修基础课，也可作为高年级学生的先修课程。

通过本课程的学习，学生应掌握信息论的基本概念及香农的编码定理等内容，使学生具备了学习有关通信、数字信号处理与传输等后续课程所必须的信息论与编码的基本知识。

该课程现在已经成为信息学科的基础理论之一。

并在各种工程应用中经实践检验卓有成效的应用技术，如编码技术、多媒体技术、通信技术的发展反过来又丰富了信息论与编码技术的理论内涵。

这些理论对于从事相关领域进行研究和工程应用的科技人员具有很高的参考价值。

（二）知识、能力及技能方面的基本要求本课程是信息类及通信专业本科高年级学生选修的一门比较重要的专业基础课。

专业基础课。

本课程采用概率论与随机过程等数学方法研究信息的统计度量、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的技术奠定良好的理论基础。

应掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。

是更好掌握其它专业课的必备基础。

（三）实施说明在教学环节中,重点讲授信源的信息量的计算、信源编码、信道容量的计算及信道编码。

另外，教师可以根据具体情况适当调整大纲的学时分配。

（四）对先修课的要求《概率论与数理统计》、《线性代数》（五）对习题课、实验环节的要求要求学生对典型习题一定要掌握，做到举一反三。

《信息论基础》课程教学大纲一、《信息论基础》课程说明（一）课程代码：14131054（二）课程英文名称：informationtheory（三）开学对象：信息管理与信息系统专业（四）课程性质：信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。

本课程是信息管理与信息系统本科的专业课。

它应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。

因而它是一门新兴科学，亦称为通信的数学理论。

建立在通信理论的数学知识基础之上的信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密码学等方面有着广泛的用途。

要使学生领会信息论的基本思想，具备解决实际问题的能力。

从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。

先修课程为概率论与数理统计（五）教学目的：本课程就是信息管理与信息系统本科生的专业课，使用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的就是使学生介绍shannon信息论的基本内容，掌控其中的基本公式和基本运算，培育利用信息论的基本原理分析和化解实际问题的能力，为进一步自学通信和信息以及其他有关领域的高深技术打下较好的理论基础。

（六）教学内容：掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定理与huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码定理；理解r（d）函数与有失真的信源编码定理.（七）学时数、学分数及学时数具体分配学时数：36分数：2学时数具体内容分配：教学内容第一章绪论第二章信源和信息熵第三章信道与信道容量第四章率为杂讯函数第五章编码定理合计210481236合计210481236讲授实验/课堂教学（八）教学方式：使用多媒体教学方式（九）考核方式和成绩记载说明考试方式将融合平时作业、平时考核(40%)、期末考试(60%)的各个环节。