《信息论与编码基础》课程学习指南

及
常 用
（4）认证性：
术 语
接收者能正确判断所接收的消息的正确性，
验证消息的完整性，而不是伪造和篡改的。
Page 23
1.3
第一章 绪 论
4．信息的特征
信
息 论
（1）信息是新知识、新内容；
的 概
（2）信息是能使认识主体对某一事物的未知
念 及
性或不确定性减少的有用知识；
常
用 （3）信息可以产生，也可以消失，同时信息
Page 31
第一章 绪 论
1-1 信息、消息、信号的定义是什么?三者的关 系是什么?
1-2 简述一个通信系统包括的各主要功能模块及 其作用。
1-3 写出信息论的定义（狭义信息论、广义信息 论）。
1-4 信息有哪些特征? 1-5 信息有哪些分类? 1-6 信息有哪些性质？
Page 32
1.1
信
1961年，香农的“双路通信信道”（Two-
息 论
way Communication Channels）论文开拓了多
发 展
用户信息理论的研究。到20世纪70年代，有关信
简 息论的研究，从点与点间的单用户通信推广发展
史
到多用户系统的研究。
1972年，T Cover发表了有关广播信道的 研究，以后陆续进行了有关多接入信道和广播信 道模型和信道容量的研究。
Page 20
1.3
第一章 绪 论
信 3）信号
息 论
定义:
的 概
把消息换成适合信道传输的物理量（如电
念 信号、光信号、声信号、生物信号等），这种
及 常
物理量称为信号。
用
术
语
信号是信息的载体，是物理性的。

三、信息的度量
3.1 自信息量
随机事件 x i
出现概率
P xi
自信息量定义
Ixi logPxi
❖ 随机事件的不确定性
▪ 出现概率小的随机事件所包含的不确定性大， 它的自信息量大。
▪ 出现概率大的随机事件所包含的不确定性小， 它的自信息量小。
▪ 在极限情况下，出现概率为1的确定性事件， 其自信息量为零。
2.4 香农信息论
1948 年 ， 美 国 数 学 家 克 劳特·香农（C.E. Shannon） 发表了一篇著名论文“通信 的数学理论”。
该论文给出了信息传输 问题的一系列重要结果，建 立了比较系统的信息理论— —香农信息论。
信息论奠基人——香农
“通信的基本问题就是在一 点重新准确地或近似地再 现另一点所选择的消息”。 这是香农在他的惊世之著 《通信的数学理论》中的 一句铭言。正是沿着这一 思路,他应用数理统计的方 法来研究通信系统，从而 创立了影响深远的信息论。
❖ 若给定x条件下y的条件自信息量为I(y|x)，则它 在XY集合上的概率加权平均值H(Y|X)定义为：
H Y|X P xyIy|x X Y
❖ H(Y|X)为条件熵，也可直接定义为：
H Y |X P x y lo g P y|x
X Y
共熵
❖ 共熵（又称联合熵）是联合空间XY上的每个元素 对xy的自信息量的概率加权平均值，定义为：
计分方式
期终考试占60％ 专题报告占20％；个人报告占20％ 小论文占20%
二、信息概念、信息论
2.1 信息 信息、消息、信号 信息是抽象、复杂的概念，它包含在消息之中，
是通信系统中传递的对象。
2.2 信息定义 信息就是事物运动的状态和方式，就是关于事

信息论与编码教学大纲信息论与编码教学大纲信息论与编码是计算机科学领域中的重要学科，它涉及到信息的传输、存储和处理等方面的理论和方法。

信息论与编码的教学大纲是为了帮助学生系统地学习和掌握这一领域的基本原理和技术，从而为他们在实际应用中解决问题提供理论基础和实践能力。

一、引言信息论与编码是近代科学的一个重要分支，它起源于通信领域的需求。

随着信息技术的快速发展，信息论与编码的理论和方法在现代社会中的应用越来越广泛。

本课程的目标是让学生了解信息论与编码的基本概念和原理，掌握常用的编码和解码技术，以及应用信息论与编码解决实际问题的能力。

二、信息论基础1. 信息的概念和度量：介绍信息的定义和度量方法，包括信息熵、条件熵、互信息等基本概念。

2. 信源和信道：介绍信源和信道的基本概念，以及它们之间的关系。

3. 香农定理：介绍香农定理的基本内容和应用，包括信道容量的计算方法。

三、编码与解码1. 基本编码方法：介绍基本的编码方法，包括霍夫曼编码、香农-费诺编码等。

2. 常用编码技术：介绍常用的编码技术，包括哈夫曼编码、算术编码、游程编码等。

3. 常见解码方法：介绍常见的解码方法，包括最大似然解码、Viterbi解码等。

四、信息论在通信中的应用1. 信道编码：介绍信道编码的基本原理和常用方法，包括奇偶校验码、循环冗余校验码等。

2. 无线通信中的编码：介绍无线通信中的编码技术，包括调制解调、编码和解码等。

3. 数据压缩：介绍数据压缩的基本原理和方法，包括无损压缩和有损压缩等。

五、信息论在数据存储中的应用1. 磁盘存储：介绍磁盘存储中的编码技术，包括磁盘阵列编码、磁盘数据恢复等。

2. 数据库存储：介绍数据库存储中的编码技术，包括索引编码、压缩编码等。

六、信息论在图像处理中的应用1. 数字图像编码：介绍数字图像编码的基本原理和方法，包括JPEG、PNG等常用编码格式。

2. 图像压缩：介绍图像压缩的基本原理和方法，包括变换编码、预测编码等。

7
课程讨论主要内容
第3章 离散信道及其信道容量 信道的数学模型及分类 信道疑义度与平均互信息 平均互信息的特性 离散无记忆扩展信道 离散信道的信道容量 信源与信道的匹配
8
课程讨论主要内容
第4章 波形信源及波形信道 波形信源的统计特性和离散化 连续信源和波形信源的信息测度 连续信源熵的性质及最大差熵定理 具有最大差熵的连续信源 连续信道和波形信道的分类 连续信道和波形信道的信息传输率 连续信道和波形信道的信道容量
9
课程讨论主要内容
第5章 基本的信源和信道编码定理 无失真信源编码定理 编码器的概念 等长码 等长信源编码定理 变长码 变长信源编码定理（香农第一定理） 有噪信道编码定理 错误概率与编译码规则 有噪信道编码定理（香农第二定理） 联合信源信道编码定理
10
课程讨论主要内容
第6章 保真度准则下的信源编码 失真的测度 信息率失真函数及其性质 离散无记忆信源的信息率失真函数 保真度准则下的信源编码定理（香农第三定理） 联合有失真信源信道编码定理
1.1 信息的一般概念
19
在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。 它是一个物理量，是一个载荷信息的实体，可测量、可描 述、可显示。 消息(或称为符号)：是信息的数学表达层，它虽不是一个 物理量，但是可以定量地加以描述，它是具体物理信号的 进一步数学抽象。 可将具体物理信号抽象为两大类型： 离散(数字)消息：由随机序列描述的一组未知量： X=(X1, …, Xi , …, Xn) 连续(模拟)消息：由随机过程描述的未知量：X( t, ω) 信息：是信号与消息的更抽象的表达层次。
1.1 信息的一般概念
17