《信息论》课程介绍

信息论课程教学大纲

Information Theory

一、课程教学目标

1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。编码技术是信息论的重要分支的基础。它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。

2、 知识要求：通过一个学期的学习要达到如下要求:

1)掌握平均信息量—熵的概念，了解信息论的基本知识和信道容量的计算。

2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。

3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。

4)掌握伪随机码的基本概念，m序列码的产生及应用。

先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。

3、能力要求：本课程重点是通过讲解信息论与编码技术使学生掌握提高信道传输的“有效性”和“可靠性”的基本理论。

二、教学内容的基本要求和学时分配

1.信息论与编码课程教学学时数分配表：

教 学 内 容 章 目 本课程学分：3

学 时 分 配

讲课（学时） 课堂讨论（学时） 小计（学时）

第一章 绪论 3 0 3

第二章 信源及信源熵 8 1 9

第三章 无失真信源编码 9 0 9

第四章 限失真信源编码 8 1 9

第五章 信道编码 6 3 9

第六章 密码学 8 1 9

合 计 42 6 48

2．具体要求

第一章 绪论

[目的要求]了解信息论的产生、发展、应用，为以后学习打下基础

《信息论基础》教学大纲

课程编码：1512105602 课程名称：信息论基础 学时/学分：36/2 先修课程：《概率论与数理统计》、《随机过程》、《信息科学导论》 适用专业：信息与计算科学 开课教研室：信息与计算科学教研室

一、课程性质与任务

1．课程性质：本课程是信息与计算科学专业的一门专业选修课，是拟从事通信及相关

行业工作的学生所必修，为本科三年级学生所选修。

2．课程任务：通过本课程的学习，学生应熟练掌握离散（连续）条件下的熵、条件熵、

相对熵、互信息的概念，熟练掌握有（无）失真条件下的信源（信道）编码定理和一些常用

编码并能熟练的应用它们，为今后的学习与科研打下坚实的基础。 二、课程教学基本要求

掌握信息的基本理论，理解离散信源、连续信源的有关理论，熟练掌握信息、信息熵、

条件熵、联合熵、互信息等的计算，了解通信系统的整个过程，熟练掌握基本的信源编码方

法和信道编码方法，会判定信源码、信道码的优劣。本课程主要以课堂讲授为主，在教学方

法和手段上采用现代教育技术。

成绩考核形式：期终成绩（考查）（70%）＋平时成绩（平时测验、作业、课堂提问、

课堂讨论等）（30％）。成绩评定采用百分制，60分为及格。 三、课程教学内容

第一章 随机变量的信息度量

1.教学基本要求

理解和掌握的定义和计算式，理解有关熵的一些基本性质，了解广义熵及相互间的关

系。

2.要求学生掌握的基本概念、理论

通过本章学习，使学生能准确理解并掌握信息、熵、联合熵、条件熵等有关信息量的定

义及计算式，理解熵的基本性质，了解广义熵的多种形式并了解它们之间的关系。

3.教学重点和难点

教学重点是要让学生掌握熵的概念和性质，熟练计算熵、联合熵、条件熵、相对熵和互信息，并会用熵求解一些实际问题。

4.教学内容

第一节 自信息

第二节 熵、联合熵、条件熵

第三节 相对熵和互信息

第四节 信息量的一些基本性质

第五节 广义熵

第二章 随机过程的信息度量和渐进等分性

信息与信息技术导论课程评价

班级 072092 学号 20091003745 姓名 左国勇

上完本课程以后，可以用四个字来形容自己的感受：受益匪浅。

以前自己在信息技术这一块几乎是空白，尤其是信息安全。上完本课程后，自己在对信息技术有了一定的了解。例如，信息技术的概念，它是有关数据与信息的应用技术，其内容包括：数据与信息的采集、表示、处理、安全、传输、交换、显现、管理、组织、存储、检索等。还有信息技术的应用。毋庸置疑，它的应用范围极其广泛。这门学科的渗透性很强，它基本上与我们现在所接触的学科都有较强的联系。

马老师上课幽默风趣，生动形象。说实在的，他长得就幽默，说起话来更幽默，这给课堂增添了不少活力，至少没有那种整堂课从头到尾死气沉沉的感觉。不知为什么听他的课感觉特别轻松，当然这种轻松绝不是放松，他上的每一节课我都会认认真真地听讲，不然为什么会说受益匪浅。他上课的时候，喜欢用现实中的实例来比喻信息理论中那些抽象的东西，深入浅出，通俗易懂。像ARP欺骗，网关，发送文件等，讲这些内容时用一些“举手”、“书页”等很容易懂的词语来形容。

给我印象最深刻的就是信息安全。信息安全是指信息网络的硬件、软件及其系统中的数据受到保护，不受偶然的或者恶意的原因而遭到破坏、更改、泄露，系统连续可靠正常地运行，信息服务不中断。以前自己从没有这种信息安全的意识，自从他讲完信息安全以后我才发现信息安全的重要性。大到国家重要机密，小到公司重要数据和个人的重要文件等等，都与信息安全密切相关。可以说，社会生活的有序进行，都离不开信息安全的保障。

我们总不至于自己的隐私被公之于众都无动于衷吧？要避免个人隐私被泄露，最重要的是对自己的隐私保密。谈到保密就想到老师上课讲的对文件加密和对电脑的加密。常用的加密有启动加密，系统加密，文件加密等。马老师讲的这几种方法实用性很强，讲的也很详细，课堂上也当堂示范过，至少现在自己对电脑加密能够独立完成了。还有一个就是浏览网页时要特别注意病毒和恶意代码。网页上有时会弹出一些欺骗信息和诱人图片，这里面往往就会有病毒或者木马。我们要慎点之！

1 《信息论》教学大纲

《信息论》课程是高等学校信息类专业教学计划中的一门必修的重要专业课。信息理论在通信领域中发挥越来越重要的作用，显示出它是解决通信领域中有关问题的有力工具的本色。同时，由于信息理论解决问题的思路和方法的独特、新颖和有效，在当今时代，信息论已经渗透到很多其他相关的自然科学甚至社会科学领域。

本课程的目的和任务是使学生通过本课程的学习获得经典信息论的基本理论、编码方法，为学习后续课程和实际应用以及研究工作打好基础。

先修课程要求：数学分析、概率统计、线性代数。

本课程计划72学时，4学分。

选用教材：

傅祖芸，《信息论—基础理论与应用》，电子工业出版社，2003

教学手段：课堂讲授为主，多媒体为辅。

考核方法：考试。

教学进程安排表

周次 学时数 教 学 主 要 内 容 教学方法 备注

1 4 信息的概念，信息论研究的对象、目的和内容，信源的数学模型及分类，离散信源的信息熵 讲授

2 4 信息熵的基本性质，离散无记忆的扩展信源 ，离散平稳信源 讲授

3 4 马尔可夫信源 讲授

4 4 信源剩余度与自然语言的熵，离散信道及其信道容量，信道的数学模型及分类 讲授

5 4 平均互信息及平均条件互信息，平均互信息的特性 讲授

6 4 信道容量及其一般计算方法，离散无记忆扩展信道及其信道容量，独立并联信道及其信道容量 讲授 7 4 串联信道的互信息和数据处理定理，信源与信道的匹配，无失真信源编码，编码器，等长码 讲授

8 4 渐近等分割性和E典型序列，等长信源编码定理，变长码 讲授

9 4 变长编码定理，霍夫曼码和其他编码方法 讲授

10 4 霍夫曼码和其他编码方法 讲授

11 4 错误概率和译码规则，错误概率与编码方法，联合E典型序列 讲授

12 4 有噪信道编码定理，联合信源信道编码定理，纠错码的基本思想 讲授

13 4 线性码 讲授