信息论与编码第二版第1章绪论(新)

本电子书《信息论与编码》开篇介绍了课程的教学计划、安排及所需先验知识，并罗列了相关参考书目。第一章绪论部分深入探讨了信息论的基德·艾尔伍德·香农的奠基性贡献，他通过《通信的数学理论》和《噪声下的通信》两篇论文，解决了通信领域诸多悬而未决的问题。此外，绪论还明确了信息论的研究范畴，不仅关注信息的度量、特征、传输速率等狭义领域，还涉及信号设计、噪声理论等广义层面。最后，提出了本书旨在探讨的核心问题，包括信息的度量、传输极限、压缩与恢复条件等，并指向了相关设备的设计与存在性探讨。

及
常 用
（4）认证性：
术 语
接收者能正确判断所接收的消息的正确性，
验证消息的完整性，而不是伪造和篡改的。
Page 23
1.3
第一章 绪 论
4．信息的特征
信
息 论
（1）信息是新知识、新内容；
的 概
（2）信息是能使认识主体对某一事物的未知
念 及
性或不确定性减少的有用知识；
常
用 （3）信息可以产生，也可以消失，同时信息
Page 31
第一章 绪 论
1-1 信息、消息、信号的定义是什么?三者的关 系是什么?
1-2 简述一个通信系统包括的各主要功能模块及 其作用。
1-3 写出信息论的定义（狭义信息论、广义信息 论）。
1-4 信息有哪些特征? 1-5 信息有哪些分类? 1-6 信息有哪些性质？
Page 32
1.1
信
1961年，香农的“双路通信信道”（Two-
息 论
way Communication Channels）论文开拓了多
发 展
用户信息理论的研究。到20世纪70年代，有关信
简 息论的研究，从点与点间的单用户通信推广发展
史
到多用户系统的研究。
1972年，T Cover发表了有关广播信道的 研究，以后陆续进行了有关多接入信道和广播信 道模型和信道容量的研究。
Page 20
1.3
第一章 绪 论
信 3）信号
息 论
定义:
的 概
把消息换成适合信道传输的物理量（如电
念 信号、光信号、声信号、生物信号等），这种
及 常
物理量称为信号。
用
术
语
信号是信息的载体，是物理性的。

1.2 通信系统的模型
通信的基本问题：在存储或者通信等情况 下，精确或者近似再现信源发出的消息。
信源 编码器 信道 译码器 信宿
干扰源
一般模型
香农信息论的通信系统模型,研究从发端（信源）到收端（信宿）有多少信息被传输。
通信过程： 信源发出的消息，经编码器变为二进制数 串，经由信道传输；到了收端，经过译码， 变为计算机或者人（信宿）能够理解的消 息。
信道编码和差错控制 进展
汉明码，纠一位错 Golay，纠3位错 RS码，循环码 卷积码的发现 Viterbi译码 BCH码，循环码 Turbo，接近香农极限（-1.6db）的编码, 随机迭代、随机交织思想的采用。
未来趋势
无线通信频带资源匮乏，高效和高可靠通 信更加依赖信息论的发展。 Internet通信、移动通信、光存储生物等领 域向信息论提出了要求。
从信源编码器输出到信源译码器输入之间形成等效离散信道。
1.2 通信系统的模型
信 源
定义：产生消息的来源，可以是文字、语言、 图像等； 输出形式：符号形式表示具体消息，是信息 的载体 ； 分类：连续的，离散的； 基本特点：具有随机性。描述其使用概率。ቤተ መጻሕፍቲ ባይዱ 主要研究其统计规律和信源产生的信息速率。
单输入、单输出的单向通信系统； 单输入、多输出的单向通信系统； 多输入、多输出的多向通信系统。
信息论研究的进展
信源编码、数据压缩 信道编码与差错控制 多用户信息论和网络通信 多媒体与信息论 信息论、密码学和数据安全等。 开始研究在通信应用，在投资方面的应用。
信源编码与数据压缩关键理论
信道编码器
通过添加冗余位，进行检错、纠错 信道编码的原则：尽量小的误码率，尽量 少的增加冗余位。 举例： BSC信道发重复码。

1.2 通信系统的模型
信源符号
信 源 编码 信 源
（序列）
编码器 信 道 译码器
x y yˆ
重建符号 （序列）
x
❖ 无失真编码： x xˆ
重建符号与信源发送符号一致， 即编码器输出码字序列与信源 发送序列一一映射；
限失真编码： x xˆ
总是成立的
y yˆ
分别是编码输出码字和接收到的码字
重建符号与信源发送符号不 完全一致；编码器输出码字 序列与信源输出符号序列之 间不是一一映射关系，出现 符号合并，使得重建符号的 熵减少了。
限失真、无失真是由于编译 码器形成的
信道编码
增加冗余
提高
对信道干 扰的抵抗 力
信息传输 的可靠性
❖ 由于信道中存在干扰， 数据传递过程中会出现 错误，信道编码可以检 测或者纠正数据传输的 错误，从而提高数据传 输的可靠性。
1.2 通信系统的模型
调制器
作用：
➢ 将信道编码的输出变换为适合信道传输的 要求的信号 ；
消息
信息的表现形 式；
文字，图像， 声音等；
信号
信号的变化描 述消息；
信息的基本特点
1.不确定性
受信者在接收到信息之前，不知道信源发送 的内容是什么，是未知的、不确定性事件；
2.受信者接收到信息后，可以减少或者消除不确定性；
3. 可以产生、消失、存储，还可以进行加工、处理；
4. 可以度量
1.2 通信系统的模型
冗 信源符号 余 变 相关性强 化 统计冗余强
信源编码器
码序列 相关性减弱 统计冗余弱
相关冗余 统计冗余 生理冗余
模型简化
信源输出前后符号之间存在一定相关性
信源输出符号不服从等概率分布