信息论与编码第1章课程介绍绪论-PPT文档资料

第1章 绪论
2．编码器 编码器可分为信源编码器、信道编码器和保密编码器三 种。信源编码对信源输出的消息进行适当的变换和处理，把 信息变换成信号，目的是为了提高信息传输的效率，使传输 更为经济、有效，还要去掉一些与被传信息无关的多余度； 信道编码是为了提高信息传输的可靠性而对消息进行的变换 和处理；保密编码保证了信息的安全性。由于传输信息的媒 质如电波、电缆等总是存在有各种人为或天然的干扰和噪声， 因此，为了提高整个通信系统传输信息的可靠性，就需要对 加密器输出的信息进行一次纠错编码，人为地增加一些多余 信息，使信息传输系统具有自动检错或纠错功能。当然对于 各种实际的通信系统，编码器还应包括换能、调制、发射等 各种变换处理功能。
图1－1所示的模型也适用于其他的信息流通系统，如生 物有机体的遗传系统，人体、动物的神经网络系统和视觉系 统等，甚至人类社会的管理系统都可概括成这个模型。人们 通过系统中消息的传输和处理来研究信息传输和处理的共同 规律。信息传输或通信的目的，是要把收方不知道的信息及 时、可靠、完整、安全而又经济地传送给指定的收方。该模 型按功能可分为信源、编码器、信道、译码器、信宿五部分。
第1章 绪论
1.2 信息编码的发展
1.2.1 信源压缩编码的发展 1948年,香农在《通信的数学理论》一文中，用概率测
度和数理统计的方法系统地讨论了通信的基本问题，得出了 几个重要而带有普遍意义的结论。香农理论的核心是：在通 信系统中采用适当的编码后能够实现高效率和高可靠性的信 息传输，并得出了信源编码定理和信道编码定理。从数学观 点看，这些定理是最优编码的存在定理。但从工程观点看， 这些定理不是结构性的，不能从定理的结果直接得出实现最 优编码的具体途径。然而，它们给出了编码的性能极限，在 理论上阐明了通信系统中各种因素的相互关系，为人们寻找 最佳通信系统提供了重要的理论依据。

绪论
Notable awards:
Alfred Noble Prize IEEE Medal of Honor
信息论与编码基础
一、信息概念
二、信息论的诞生
绪论
三、信息论研究的基本问题及内容
四、编码技术的发展
五、信息论与其它学科的交叉发展
信息论与编码基础
1、信息论研究的基本问题
绪论
2、信息论研究的内容
信息论与编码基础
Fields: Electronic engineer
and mathematician
绪论
Alma mater: MIT
University of Michigan
Institutions:
Bell Laboratories Massachusetts Institute of Technology Institute for Advanced Study
信息论与编码基础
全信息理论
信息 传递 信息处理—再生
绪论
信息 传递
信息 获取
外部世界 问题／环境
信息运动过程
信息 施用
思考题
一位朋友不赞同“消息中未知的成分才算是信息”的说法
他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看 不厌，大师正在唱的、正在表演的使我愉快，将要唱的和
表演的我都知道，照这种说法电视里没给我任何信息，怎
信息论与编码基础
例子
绪论
1、2021年9月11日上午9时，一颗小行星将和地球相撞。
2、2022年7月11日上午9时，将发生日食。
信息论与编码基础
一、信息概念
二、信息论的诞生
绪论
三、信息论研究的基本问题及内容

• 通常取对数的底为2，单位为比特（bit）。
37
2.1.1 自信息量
• 三个单位间的转换关系为：
• 1奈特=log2e 1.433比特 • 1哈特莱=log210 3.332比特
• 自信息量非负且单调递减。
f(x)
log2x
f(x)
34
2.1.1 自信息量
• 应用概率空间的概念分析上例，设取红球
的状态为x1，白球为x2，黑球为x3，黄球为 x4，则概率空间为：
• （1）
• （2）
PX(x)0x1.99 PX(x)0x1.5
x2 0.01
x2 0.5
• （3） P X (x) 0 x1 .250.x 2 2 5x30.25x0 4.25
• （7）按生成领域分：宇宙信息、自然信息、社会信息、 思维信息等。
• （8）按应用部门分：工业信息、农业信息、军事信息、 政治信息、科技信息、文化信息等。
（9）按信息源的性质分：语声信息、图像信息、文 字信息、数据信息、计算信息等。 （10）按载体性质分：电子信息、光学信息、生物信 息等。 （11）按携带信息的信号形式分：连续信息、离散信 息、半连续信息等。
19
1.2.2 数字信息传输系统
• 优点：
• （1）抗干扰能力强，特别在中继传输中尤为明 显。
• （2）可以进行差错控制，提高了信息传输的灵 活性。
（3）便于使用现代计算机技术对信号进行处 理、存储和变换。 （4）便于加密，实现保密信息传输。
20
1.2.2 数字信息传输系统
• （5）易于与其他系统配合使用，构成综合 业务信息传输网。
35
2.1.1 自信息量
• 结论： • （1）不确定度与信源概率空间的状态数及

7
课程讨论主要内容
第3章 离散信道及其信道容量 信道的数学模型及分类 信道疑义度与平均互信息 平均互信息的特性 离散无记忆扩展信道 离散信道的信道容量 信源与信道的匹配
8
课程讨论主要内容
第4章 波形信源及波形信道 波形信源的统计特性和离散化 连续信源和波形信源的信息测度 连续信源熵的性质及最大差熵定理 具有最大差熵的连续信源 连续信道和波形信道的分类 连续信道和波形信道的信息传输率 连续信道和波形信道的信道容量
9
课程讨论主要内容
第5章 基本的信源和信道编码定理 无失真信源编码定理 编码器的概念 等长码 等长信源编码定理 变长码 变长信源编码定理（香农第一定理） 有噪信道编码定理 错误概率与编译码规则 有噪信道编码定理（香农第二定理） 联合信源信道编码定理
10
课程讨论主要内容
第6章 保真度准则下的信源编码 失真的测度 信息率失真函数及其性质 离散无记忆信源的信息率失真函数 保真度准则下的信源编码定理（香农第三定理） 联合有失真信源信道编码定理
1.1 信息的一般概念
19
在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。 它是一个物理量，是一个载荷信息的实体，可测量、可描 述、可显示。 消息(或称为符号)：是信息的数学表达层，它虽不是一个 物理量，但是可以定量地加以描述，它是具体物理信号的 进一步数学抽象。 可将具体物理信号抽象为两大类型： 离散(数字)消息：由随机序列描述的一组未知量： X=(X1, …, Xi , …, Xn) 连续(模拟)消息：由随机过程描述的未知量：X( t, ω) 信息：是信号与消息的更抽象的表达层次。
1.1 信息的一般概念
17