当前位置：文档之家 › 信息理论与编码 第1章

信息理论与编码 第1章

  • 格式：ppt
  • 大小：152.50 KB
  • 文档页数：13

下载文档原格式

  / 13

合集下载

信息论与编码复习总结

信息论与编码复习总结

x2 x3 x4 x5 x6 X x1 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
• • 发出单个符号的信源 – 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 – 指信源每次发出一组含二个以上符号的符号序列代表一个消息 信源的描述

平均自信息 平均不确定度 信源熵（公式一定要记住） H(X):平均信息量,称为信源 X 的熵。 信源熵、香农熵 离散信源熵 H(X)
(平均不确定度/平均信息量/平均自信息量) 定义：信源的平均不确定度 H(X)为信源中各个符号不确定度的数学期望，即：
H ( X ) p( xi ) I ( xi ) p( xi ) log p( xi )
简答题： 一、 信源编码与信道编码的区别 答：信源编码是压缩信源发出的信息的冗余度，是为了提高信息传输的有效性；而信 道编码是在信源编码器输出的代码组上有目的地增加了一些监督码元，增大了信息的 冗余度，以提高传输信息的可靠性。 二、 能否将三种码（信源编码、信道编码、密码）合成一种码进行编译？ 答：提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原 来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降； 反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了有效性。安全性也有 类似情况 编成密码,有时需扩展码位,这样就降低有效性；有时也会因失真而使授权用户无法 获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。 从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全， 可使编译码器更理想化，在经济上可能也更优越。 这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要 取得有用的结果，还是相当困难。

信息论与编码(曹雪虹第三版)第一、二章

信息论与编码(曹雪虹第三版)第一、二章
信道的分类
根据传输介质的不同，信道可分为有线信道和无线信道两大类。有线信道包括 双绞线、同轴电缆、光纤等；无线信道包括微波、卫星、移动通信等。
信道容量的定义与计算
信道容量的定义
信道容量是指在给定条件下，信道能 够传输的最大信息量，通常用比特率 (bit rate)来衡量。
信道容量的计算
信道容量的计算涉及到信道的带宽、 信噪比、调制方式等多个因素。在加 性高斯白噪声(AWGN)信道下，香农 公式给出了信道容量的理论上限。
信道编码分类
根据编码方式的不同，信道编码可分为线性分组码和卷积码 两大类。
线性分组码
线性分组码定义
线性分组码是一种将信息 序列划分为等长的组，然 后对每个组独立进行编码 的信道编码方式。
线性分组码特点
编码和解码过程相对简单 ，适用于各种信道条件， 且易于实现硬件化。
常见的线性分组码
汉明码、BCH码、RS码等 。
将信源消息通过某种数学变换转换到另一个域中，然后对变换 系数进行编码。
将连续的信源消息映射为离散的数字值，然后对数字值进行编 码。这种方法会导致量化噪声，是一种有损的编码方式。
信道编码的定义与分类
信道编码定义
信道编码是为了提高信息传输的可靠性、增加通信系统的抗 干扰能力而在发送端对原始信息进行的一种变换。
信息熵总是非负的，因 为自信息量总是非负的 。
当随机变量为确定值时 ，其信息熵为0。
对于独立随机变量，其 联合信息熵等于各自信 息熵之和。
当随机变量服从均匀分 布时，其信息熵达到最 大值。
03
信道与信道容量
信道的定义与分类
信道的定义
信道是信息传输的媒介，它提供了信号传输的通路，是通信系统中的重要组成 部分。

信息理论与编码课后答案（吕锋王虹着）

信息理论与编码课后答案（吕锋王虹着）

第一章教材习题1.1.试述信息与知识、消息和信号之间的区别与联系，并举例说明。

1.2.详述钟义信先生的信息定义体系。

1.3.试查阅文献，说明信息具有哪些特征和性质？1.4.说明通信系统模型由哪几部分组成，并详细讨论每一部分的功能。

1.5.试述信息论的研究内容？第二章教材习题信源模型2.1试简述信源分类以及各种信源特点。

信息的描述2.2在非理想观察模型中，存在哪些不确定性，它们与信息有何关系？不确定性与信息2.3一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”这事件的自信息量。

（2）“两个1同时出现”这事件的自信息量。

（3）两个点数的各种组合（无序对）的统计平均自信息量。

（4）两个点数之和（即2，3，…，12构成的子集）的熵。

（5）两个点数中至少有一个是1的自信息量。

2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。

100只球的颜色有下列三种情况：（1）红色球和白色球各50只；（2）红色球99只，白色球1只；（3）红，黄，蓝，白色各25只。

求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。

2.8大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。

（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女同志，则答案中含有的平均信息量是多少?联合熵和条件熵2.9任意三个离散随机变量X 、Y 和Z ，求证：()()()()H XYZ H XY H XZ H X −≤−。

平均互信息及其性质2.11设随机变量12{,}{0,1}X x x ==和12{,}{0,1}Y y y ==的联合概率空间为11122122(,)(,)(,)(,)133818XY XY x y x y x y x y P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦定义一个新随机变量Z X Y =×（普通乘积）。

信息论与编码_第一章

信息论与编码_第一章

信息论发展中的悲情人物
• 诺贝尔经济学获得者：
JOHN NASH
于1951年发表《非合作博弈论》
成就著名的“纳什均衡”理论
1958年（30岁）开始痴迷于信息编码技术，出现精神失 常。直到80年代末，方从癫疯中苏醒，继续从事经济学博弈 论研究，1994年获得诺贝尔经济学奖
奥斯卡影片《美丽心灵》
第二节、信息的概念
(17) 发现格码，1989，R.deBuda。格(lattice)码可趋近频带受限高斯信道 容量。Loeligerz在1992年已证明，这是Zp上的欧氏空间群码。
(18)发现Turbo码，迭代自适应译码算法，1993, C. Berrou and A. Glavieux. (19) LDPC码，近来又重新被发现。
信息定义的总结
• 信息是人与外界交互的内容，是有序程度的度量 和负熵，是用以减少不定性的东西 ，这些都是 Wiener 、 Brillouin 、 Shannon 等人的理解。这些 认识比仅仅把信息看作消息或通信内容要更深刻。 • 在数学上很容易证明， Hartley 的信息概念仅是 Shannon信息概念的一种特殊情形。 • 总起来说，在现有的各种理解中， Shannon 的定 义比较深刻，而且这种定义还导出了相应的算法。
香农信息定义的缺陷（2）
• 只考虑了随机型的不定性，不能解释与其 他型式的不定性（如模糊不定性）有关的 信息问题。 • 这种信息定义只从功能角度上来表述，还 是没有从根本上回答“信息是什么”的问 题。
2、发展
信 息 论 主 要 几 个 方 面 的 进 展
Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献

信息理论与编码答案 人民邮电出版社

信息理论与编码答案 人民邮电出版社

第一章 自我测试题一、填空题1. 在认识论层次上研究信息的时候，必须同时考虑到形式、__语义___和__语用___三个方面的因素。

2. 如果从随机不确定性的角度来定义信息，信息是用以消除__随机不确定性___的东西。

3. 信源编码的结果是__减小_冗余；而信道编码的手段是__增加___冗余。

4. _1948_年，香农发表了著名的论文__通信的数学理论__，标志着信息论诞生。

5. 信息商品是一种特殊商品，它有__保存性_性、_共享_性、_老化可能_性和 知识创造性 等特征。

二、判断题1. 信息传输系统模型表明，噪声仅仅来源于信道（×）2. 本体论层次信息表明，信息不依赖于人而存在（√）3. 信道编码与译码是一对可逆变换（×）4. 1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（×）5. 基因组序列信息的提取和分析是生物信息学的研究内容之一（√）三、选择题1.下列表述中，属于从随机不确定性的角度来定义信息的是__D___ A ． 信息是数据B ． 信息是集合之间的变异度C ． 信息是控制的指令D ． 信息是收信者事先不知道的报道 2.___B__是最高层次的信息 A ． 认识论 B ． 本体论 C ． 价值论 D ． 唯物论 3.下列不属于狭义信息论的是__D___ A ． 信息的测度 B ． 信源编码 C ． 信道容量 D ． 计算机翻译 4.下列不属于信息论的研究内容的是__A___ A ． 信息的产生 B ． 信道传输能力 C ． 文字的统计特性 D ． 抗干扰编码 5.下列关于信息论发展历史描述不正确的是__B___A ． 偶然性、熵函数引进物理学为信息论的产生提供了理论前提。

B ． 1952年，香农发展了信道容量的迭代算法C ． 哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。

D ． 1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。

信息论与编码_第一章.

信息论与编码_第一章.
信息论与编码
(Information theory and coding)
主讲老师：姚志强 yaozhiqiang@
学习的意义
• 信息论与编码理论是信息科学的基础理论， 对信息进行定量的分析，对信息处理给出理 论的指导，是20世纪后半叶数字化革命的主 要理论和技术支柱．
• 信息论与编码的许多思想和方法已广泛渗透 到许多领域： [计算机]，[通信技术]，[统计学], [物理学]， [生物学]，[系统科学], [经济学], [社会学], ……
需具备的相关数学知识：
高等数学 概率与统计理论 矩阵论 最优化理论 需了解的相关专业方面知识：
通信原理
本课程的主要教学目标： 信息论基本原理与应用
第一章、绪论
第一节、信息论起源和发展 第二节、信息的概念 第三节、信息论的研究内容和核心
第一节、信息论的起源及发展
1、起源
1924年，奈奎斯特（Nyquist）：信号带宽和信息 速率间的关系。
主要参考文献
• 《信息理论与编码》 姜丹、钱玉美编著 中国科技大学出版 社（第一版，第二版，第三版）；
• 《信息论—基础理论与应用》 傅祖芸编著 电子工业出版社
2001年版；
• 《信息论与编码方法》西南交通大学勒蕃教授著；
• 《信息论与编码》陈运、周亮、陈新编著 电子工业出版社； • 《信息论与编码》仇佩亮 编著 高等教育出版社；
息的理解：信息是用来减少随机不确定性的东西。 • 这篇论文以概率论为工具，深刻阐述了通信 随机不确定性是指由于随机因素所造成的不能肯定 工程的一系列基本理论问题，给出了计算信 的情形，在数值上可以用概率熵来计量。 源信息量和信道容量的方法和一般公式，得 到了一组表征信息传递重要关系的编码定理。

信息论与编码第一章绪论


形成和发展
1. 信息论研究的主要问题（续2）
4）无失真信源编码，所需要的最少码符号数是多少？
香农第一定理： 如果编码后的信源序列的
编码信息率不小于信源的熵，那么一定存
在一种无失真信源编码方法；否则，不存
在这样的一种无失真信源编码方法。
第一章：绪论
什么是信息 通信系统模型 研究内容
形成和发展
1. 信息论研究的主要问题（续3）
形成和发展
3. 信息的狭义概念（香农信息） （续6）

香农信息的优点：
➢ 有明确的数学表达式，定量化
➢ 与人们直观理解的信息含义一致
➢ 不考虑收信者主观感受的不同，认为同一消息对
任何收信者，所得信息量相同。
第一章：绪论
什么是信息 通信系统模型 研究内容
形成和发展
3. 信息的狭义概念（香农信息） （续7）
3）信道

狭义信道

广义信道
形成和发展
第一章：绪论
什么是信息 通信系统模型 研究内容
1. 通信系统模型（续10）
研究内容：


信道的统计特性
➢
无噪声信道、有噪声信道
➢
离散信道、连续信道、波形信道
➢
有记忆信道和无记忆信道
➢
恒参信道（平稳信道）和随参信道（非平稳信道）
➢
单用户信道和多用户信道
信道传输信息的最高速率
（Carson，1922）、电视（1925-1927）、调频广播

提高可靠性： （可靠传输）
➢ 信道编码
第一章：绪论
一、什么是信息
二、通信系统模型
1. 信息论研究的主要问题
三、信息论的研究内容

信息论与编码

信息论与编码第⼀章1、信息,信号,消息的区别信息：是事物运动状态或存在⽅式的不确定性的描述消息是信息的载体，信号是消息的运载⼯具。

2、1948年以“通信的数学理论”（A mathematical theory of communication ）为题公开发表，标志着信息论的正式诞⽣。

信息论创始⼈：C.E.Shannon(⾹农)第⼆章1、⾃信息量：⼀个随机事件发⽣某⼀结果后所带来的信息量称为⾃信息量，简称⾃信息。

单位：⽐特(2为底)、奈特、笛特（哈特）2、⾃信息量的性质（1）是⾮负值（2） =1时， =0， =1说明该事件是必然事件。

（3） =0时， = ， =0说明该事件是不可能事件。

（4）是的单调递减函数。

3、信源熵：各离散消息⾃信息量的数学期望，即信源的平均信息量。

)(log )(])(1[log )]([)( 212i ni i i i a p a p a p E a I E X H ∑=-===单位：⽐特/符号。

（底数不同，单位不同）信源的信息熵；⾹农熵；⽆条件熵；熵函数；熵。

4、信源熵与信息量的⽐较（书14页例2.2.2）()log () 2.1.3 i i I a p a =-（）5、信源熵的意义（含义）:（1）信源熵H(X)表⽰信源输出后，离散消息所提供的平均信息量。

（2）信源熵H(X)表⽰信源输出前，信源的平均不确定度。

（3）信源熵H(X)反映了变量X 的随机性。

6、条件熵：（书15页例2.2.3） 7、联合熵：8、信源熵,条件熵,联合熵三者之间的关系:H(XY)= H(X)＋H(Y/X) H(XY)= H(Y)＋H(X/Y)条件熵⼩于⽆条件熵，H(Y/X)≤H(Y)。

当且仅当y 和x 相互独⽴p(y/x)=p(y)，H(Y/X)=H(Y)。

两个条件下的条件熵⼩于⼀个条件下的条件熵H(Z/X,Y)≤H(Z/Y)。

当且仅当p(z/x,y)=p(z/y)时取等号。

联合熵⼩于信源熵之和， H(YX)≤H(Y)+H(X)当两个集合相互独⽴时得联合熵的最⼤值 H(XY)max =H(X)+H(Y) 9、信息熵的基本性质:（1）⾮负性；（2）确定性；（3）对称性；（4）扩展性（5）可加性 ( H(XY) = H(X)+ H(Y) X 和Y 独⽴ H （XY ）=H （X ）+ H （Y/X ）H （XY ）=H （Y ）+ H （X/Y ） )（6）（重点）极值性(最⼤离散熵定理):信源中包含n 个不同离散消息时，信源熵H(X)有当且仅当X 中各个消息出现的概率全相等时，上式取等号。

编码理论第1章绪论(第2版)

进行，例如广播通信是一个输入、多个输出的单向传 输的通信，而卫星通信则是多个输入、多个输出的多 向传输的通信。
1.2 信息编码的发展
1948年，香农在《通信的数学理论》的论文中，用 概率测度和数理统计的方法系统地讨论了通信的基本问 题，得出了几个重要而带有普遍意义的结论。香农理论 的核心是：在通信系统中采用适当的编码后能够实现高 效率和高可靠性的信息传输，并得出了信源编码定理和 信道编码定理。
• 1990 年，贝尔 (T ． C.Bell) 等在 LZ 算法基础上又做了一
系列变化和改进，现在LZ码已广泛应用于文本的数据 压缩中。
从率失真信源编码理论出发
• 1948 年，香农在其论文中已体现出了关于率失真函数 的思想。 • 1959 年他发表了“保真度准则下的离散信源编码定 理”，首先提出了率失真函数及率失真信源编码定理。
于分别发表文章讨论相关信源在多元接入信道的传输 问题。 • 近20多年来，这一领域研究活跃，使得网络信息论的 存在理论已日趋完善。
1.2.3 密码编码学的发展
随着人类进入信息时代，信息的传递、存储和交 换日益骤增。现代化的通信网、计算机信息网，以及 各种类型数据库和电子数据交换系统，特别是因特网 的迅速发展，使得信息的安全和保密问题与越来越多 的人密切相关。 保密学是一门研究通信安全和保护信息资源的既 古老而又年青的科学和技术，它包括密码编码学和密 码分析学两方面。
有效性高，就是经济效果好，即用尽可能短的时间 和尽可能少的设备来传送一定数量的信息。 注意：提高可靠性和提高有效性常常会发生矛盾， 需要统筹兼顾。例如为了兼顾有效性(考虑经济效 果)，有时就不一定要求绝对准确地在接收端再现 原来的消息，可以允许有一定的误差或一定的失真， 或者说允许近似地再现原来的消息。

信息论与编码CHAP1


奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
本章内容：
信息的概念 数字通信系统模型 信息论与编码理论研究的主要内容及意义
1.1 信息的概念
信息是信息论中最基本、最重要的概念，既抽象又复杂
信息在日常生活中被认为是“消息”、“知识”、“情 报”等
➢“信息”不同于消息（在现代信息论形成之前，信息一直 被看作是通信中消息的同义词，没有严格的数学含义）， 消息是表现形式，信息是实质； ➢“信息”不同于情报，情报的含义比“信息”窄的多， 一般只限于特殊的领域，是一类特殊的信息； ➢信息不同于信号，信号是承载消息的物理量； ➢信息不同于知识，知识是人们根据某种目的,从自然界收 集得来的数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息。
干扰可以分为两类：1）加性干扰，它是由外界原因产生 的随机干扰，它与信道中传送的信号的统计特性无关，因而 信道的输出是输入和干扰的叠加；2）乘性干扰：信道的输出 信号可看成输入信号和一个时变参量相乘的结果。
❖解调器：从载波中提取信号，是调制的逆过程
❖信道译码器：利用信道编码时所提供的多余度，检查或纠正 数字序列中的错误。
❖ 信道：信号由发送端传输到接收端的媒介。
典型的传输信道有明线、电缆、高频无线信道、 微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、 磁盘、磁带等。
❖干扰源：对传输信道或存储媒介构成干扰的来源的总称。干 扰和噪声往往具有随机性，所以信道的特征也可以用概率空 间来描述；而噪声源的统计特性又是划分信道的依据。
❖信源译码器：把经过信道译码器核对过的信息序列转换成适 合接收者接收的信息形式。
❖信宿：消息传送的对象 （人或机器 ）。
在通信系统中形式上传输的是消息，但实质上传输 的是信息。消息只是表达信息的工具、载荷信息的客体。 显然，在通信中被利用的(亦即携带信息的)实际客体是 不重要的，而重要的是信息。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

C.E.Shannon针对人类的通信活动提出以下论点： 1)形式化假说 通信的基本问题是消息的接收端精确地或近似地复制 发送端所挑选的消息。通常消息是有意义的，但通信的语 义方面的问题与工程问题是无关的。 2)非决定论 实际的消息总是可能发生的消息集合中挑选出来的； 因此通信系统的设计，必须对每一种选择都能工作，因为 各种消息的选择是随机的，设计者事先无法知道什么时候 会选择什么消息来传送。 3)不确定性 两种情况下有通信的需要，一是自己有某种的消息要 告知对方，而估计对方“不知道”该消息；二是自己有某 种 “疑问”要询问对方，估计对方能作出一定的解答。
1.5 信息工程的研究范畴
两个方面：信息理论和信息技术 1) 通信的统计理论： 1 信息的度量： 确定信息的测度。 2 信源熵和信息速率：研究信源特性及其统计平均信息 量，信源的信息速率。 3 信道容量：研究信道传输能力. 2) 各种信源的统计特性 1 文字的统计特性：文字的冗余度及可压缩性。 2 语言的统计特性：语音的统计特性及可压缩性。 3 图象的统计特性：图象的处理,图象的压缩格式。 4 二元信源的统计特性：二元信息的压缩算法。
3.信息、消息、信号与数据 1) 信息：信息就是事物运动的状态和方式。 2) 消息：是包含信息的语言、文字和图像等。在通信中 是指担负着传送信息任务的单个符号或序列符号。 3) 信号：是消息的物理体现，信号是信息的载体，具有 物理性。 4) 数据：载有信息的可观测、可传输、可存储、可处理 的信号。
2) 需要信息论和编码知识的课程 通信原理、数字移动通信、计算机技术、计算机网络通 信、数字图像处理
信息论与编码
Information Theory & Coding
第1章 绪 论
1.1 信
息
物质、能量、信息是构成客观世界的三“要素” 1.信息的概念 信息是什么？ C.E.Shannon：信息就是一种消息。 N.Wiener：信息是人与外界相互作用的过程中所交换 的内容的名称。 钟义信：信息就是事物运动的状态和方式，就是关于 事物运动的千差万别的状态和方式知识。 2.信息的特征 信息是无形的、信息是可共享的、信息是无限的 信息是可度量的。
1.3 信息论的形成和发展
20世纪通信技术的发展推动了信息理论的研究. 美国科学家H.Nyquist 于1924年解释了信号带宽和信息速率之间的关系。 美国科学家L.V.R.Hartley 于1928年开始研究通信系统传输信息的能力，给出了 信息的度量方法。 美国科学家C.E.Shannon 于1948年发表的著名论文《通信的数学理论》－ A Mathematical Theory of Communication奠定了信息 论的理论基础。
4）信息的传输效率和利用率 扩频 频带压缩 码分复用 宽带高速信道 5）抗干扰理论及相关技术 调幅、调频 6）噪声中信号检测理论及技术 7）生物感官特性 听觉特性 视觉特性 脑思维特性的研究 8）与其它学科有关的研究 生物医学的关系 光学的关系
1.7 信息论和编码与其他学科的关系
1) 信息论和编码所须的基础知识: 概率论、数理统计、随机过程、矩阵论、近世代数、 数论、电子Байду номын сангаас计算机基础知识.
3)编码理论与技术 1 有效性编码： 压缩信源的冗余,从而提高信息的传输效率,主要是针对 信源的统计性进行编码,故也称为信源编码。 2 抗干扰编码： 一般增加信源的冗余,有以提高信息传输的可靠性, 主 要是针对信道的统计性进行编码,故也称为信道编码 3 安全性编码： 将信源的明文编码成密文，提高通信的安全性。
1.4 信息科学的研究范畴
有三个层次： 1) 狭义信息论：主要研究信息的测度、信道容量（信道 的传输能力）、信源及信道的编码问题。这部分理论 是 Shannon信息论，也称基础信息论。 2) 一般信息论：也称为通信理论，主要研究信息传输的 基本理论和通信的基本问题。 3) 广义信息论：除上述两方面的内容外，还包括所有与 信息论有关的其它领域，如生物、遗传工程、经济、 社会等领域。
2 纠错编码 在信源的代码上有目的地增加一些监督码元，以达到 检查或纠正信息传输过程中产生的错误，提高信息传输 的可靠性。 4 调制 对纠错编码后的信号进行处理，将在通信原理课程中 讲述。 3 加密编码 将信源的明文编码成密文，提高通信的安全性。 6)译码器：译码亦称为解码，是编码的逆过程，译码有信 源译码、 信道译码、解密译码。
1.2 通信系统的模型
1. 通信系统的物理模型 1)基本的通信系统模型
信源
信道
信宿
2)一般的通信系统模型
加密密钥 信源 信源编码 加密 信道编码 信道 干扰
信宿
信源解码
解密
解密密钥
信道解码
2. 通信系统各部分的作用 1)信源：信源是产生消息的源，消息是信息的载体；信源 输出的消息要多于一种，何时输出何种消息是不 确定的、随机的，但却是有规律的。 2)信宿：信宿是消息传送的对象。 3)信道：信道是信号从信源传送到信宿的通路。 4)干扰源：整个通信系统中各种干扰的集中反映(理想化 的干扰源)。 5)编码：分为如下三种功能的编码器。 1 信源编码 将信源的原始信息按一定的理论或工程要求编成另一 种消息形态( 代码 )。其作用是压缩冗余度，提高通信系 统传输消息的效率。