0绪论

  • 格式:pdf
  • 大小:440.61 KB
  • 文档页数:21

“ A Mathematical Theory of Communication ” “ Communication Theory of Secrecy System ”
信息论的重要性
• 信息论是信息科学和技术的基本理论,起着基础 和指导的作用; • 信息论是高层次信息技术人才必不可少的基础知 识; • 信息论诞生六十年来,至今仍在不断发展和创新。
信息的主要特征
• 信息来源于物质,又不是物质本身;它从物质的运 动中产生出来,又可以脱离源物质而相对独立地存 在; • 信息来源于精神世界,但又不局限于精神领域; • 信息与能量息息相关,但又与能量有本质的区别; • 信息具有知识的本性,但又比知识的内涵更广泛; • 信息可以被主体获取和利用。
• 就狭义而言,在通信中对信息的表达分为三个 层次:信号、消息、信息(Signal, Message, Information ) • 信号:是信息的物理表达层,是三个层次中最 具体的层次。它是一个物理量,是一个 载荷信息的实体,可测量、可描述、可 显示。
Theory ,Addison-Wesley Pub, 1990, 清华影印 。 R. J. McEliece《The Theory of Information and Coding》 第二版,电子工业出版社,2003。
考试方式
信科专业 : 最后期终考试70%+ 平时成绩30% 信安专业: 待定
0 .2 课程介绍
本课程的讲授内容: 绪 论 信息论的主要内容 课程介绍
第一部分 信息论基础 信息及其度量 互信息及其性质 信道容量
第二部分 信源编码 等长信源编码定理 仙农第一定理 Huffman编码 第三部分 信道编码 无失真信道编码定理 纠错码 限失真编码定理 第四部分 密码
第五部分 结束语 总结 信息论的发展
信道
信宿
信源 编码
信道 编码
信道 译码 干扰源
信源 译码
加密 加密钥
解密
解密钥
提出的背景:
在仙农信息论出现以前,没有系统的通信理论。 仙农,开创了信息论的研究,奠定了一般性通信 理论的基础。对数字通信技术的形成有很大贡献。 (抓住了本质问题,以数学工具进行描述。)
( Shannon, 1916-2001)
信源
信道
信宿
干扰源
信源编码:为了使消息传输更加有效,需要 对信源
的消息进行处理;
信道编码:为了使Βιβλιοθήκη 息可靠地传送到信宿,就需要 根据信道对信源编码后的消息进行处理;
密码:为了使消息安全地传送,需要 对消息进行加
密或认证; 信源编码:实现有效性;信道编码:实现可靠性; 密码:实现保密性及认证性;
信源
• 信息:它是更高层次哲学上的抽象,是信号与消息 的更高表达层次。三个层次中,信号最具 体,信息最抽象。它们三者之间的关系是哲 学上的内涵与外延的关系。 • 理解:信息-内涵(内容) 消息-则是抽象信息在数学层表达的外延 信号-则是抽象信息在物理层表达的外延
同一信息,可以采用不同的信号形式(比如文字、 语言、图象等)来载荷;同一信息,也可以采用不同的 数学表达形式(比如离散或连续)来定量描述。同样, 同一信号形式,比如“0”与“1”可以表达不同形式 的信息,比如无与有、断与通、低与高(电平)等等。
编码理论
绪 论
0 .1 信息论的主要内容
什么是信息?信息怎样度量?
• 信息:它依附于物质和能量,但又不同于物质 和能量。也是客观存在的,它是人类认识、改 造客观世界的主要动力,是人类认识客观世界 的更高层次。
信息的重要性质
• 存在的普遍性;有序性;相对性;可度量 性;可扩充性;可存储、传输与携带性; 可压缩性;可替代性;可扩散性;可共享 性;时效性;可被通信的双方理解。 • 信息在信息化程度越来越高的社会中将起 到越来越重要的作用,是比物质和能量更 为宝贵的财富。
几点解释: 仙农信息论就是编码的理论,就是从信息的角度 研究如何提高通信的可靠性、有效性、安全性的理论。
仙农信息论的编码定理是理论极限,是“非构造性的”,
具体实现的编码方法还需要具体构造。(实际中有 各式各样的编码方法。) 仙农信息论和编码方法是密不可分的
教材和参考书:
王育民、梁传甲《信息与编码理论》,西电教材 贾世楼<<信息论理论基础>>,哈工大出版社,2001 T. M. Cover & J. A. Thomas , Elements of Information
• 消息:(或称为符号)是信息的数学表达层,它 虽不是一个物理量,但是可以定量地加 以描述,它是具体物理信号的进一步数 学抽象,可将具体物理信号抽象为两大 类型:
– 离散(数字)消息,是一组未知量,可用随机序列来 描述:U=(U1… Ul … UL) – 连续(模拟)消息,也是未知量,它可用随机过程来 描述:U(t,ω )
作业1
通信系统模型及各部分作用
信息论的理解
• 广义信息论 所有与信息相关的领域 • 一般信息论 噪声、滤波与预测、估计等 • 狭义信息论(仙农信息论) 信息的测度、信道容量、信源和信道编码理论
仙农信息论最初是为了解决通信问题而提出的。 通信的根本任务:将一地点的信息可靠地、有效地、 安全的传送到另一地点。 通信系统的基本模型: