(完整版)老师整理的信息论知识点

第一章1.通信系统的基本模型:2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。

２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。

如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。

所以信源平均功率和熵功率之差称为连续信源的剩余度。

信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度：0H H ∞=ηηζ-=1意义：针对最大熵而言，无用信息在其中所占的比例。

３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。

４.５.离散信源和连续信源的最大熵定理。

离散无记忆信源，等概率分布时熵最大。

连续信源，峰值功率受限时，均匀分布的熵最大。

平均功率受限时，高斯分布的熵最大。

均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。

定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )()()()()()()(=≤∴≤≤若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为1log 22ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L )其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。

1．消息定义信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。

信号是表示消息的物理量，包括电信号、光信号等。

信号中携带着消息，信号是消息的载体。

信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。

信息的广义概念 信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和运动状态变化的方式。

➢ 语法信息(语法信息是指信息存在和运动的状态与方式。

) ➢ 语义信息(语义信息是指信宿接收和理解的信息的内容。

) ➢ 语用信息(语用信息是指信息内容对信宿的有用性。

)2．狭义信息论、广义信息论。

狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。

它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。

广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。

包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。

3.自信息 互信息 定义 性质及物理意义 自信息量： ()log ()i x i I x P x =-是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e 时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。

自信息物理意义: 1.事件发生前描述该事件发生的不确定性的大小 2.事件发生后表示该事件所含有（提供）的信息量 互信息量:互信息量的性质：1) 互信息的对称性2) 互信息可为零3) 互信息可为正值或负值4) 任何两个事件之间的互信息不可能大于其中任一事件的自信息互信息物理意义: 1.表示事件 yj 出现前后关于事件xi 的不确定性减少的量 2.事件 yj 出现以后信宿获得的关于事件 xi 的信息量4.平均自信息性质 平均互信息性质平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）：(;)()(|)i j i i j I x y I x I x y =-log ()log (|)(1,2,,;1,2,,)i i jp x p x y i n j m =-+=⋯=⋯(|)log ()i j i p x y p x =1()[()][log ()]()log ()ni i i i i H X E I x E p x p x p x ===-=-∑熵函数的数学特性包括:(1)对称性 p =(p1p2…pn)各分量次序可调换 (2)确定性p 中只要有为1的分量，H(p )为0(3)非负性离散信源的熵满足非负性，而连续信源的熵可能为负。

信息论复习要点1. 非奇异码：若一个码子中各码子都不相同，则称非奇异码，否则称为奇异码；2. 唯一可以码：若任何有限长信源序列都能译成唯一的信源消息序列，则称为唯一可译码；3. 二元最优码：就某一信源，存在最优的二进制码，其中至少有两个最长的码子有相同长度且仅最后一个码位有别。

4. AWGN 信道的容量：一个加性高斯白噪声（AWGN ）信道的噪声功率谱为N 0/2,输入信号平均功率为P ，信道带宽为W ，那么信道每单位时间的容量为：0log 1P C W N W ⎛⎫=+ ⎪⎝⎭（容量单位为比特/秒）5. 对于输入平均功率受限的加性高斯噪声信道，当传输速率R<=C 时，总可以找到一种编码方式，使得差错率任意小；反之，找不到使译码错误概率任意小的编码。

6. 信息率失真理论是有损数据压缩的理论基础，该理论的核心是在保真度准则下的信源编码定理，即香农第三定理。

7. 限失真信源编码定理：()D R R D >→≤存在平均失真的信源编码8. 限失真信源信道编码定理：()D C R D >→≤存在平均失真的信源信道编码9. 和信道及其容量：若一个信道分为若干子信道，且各子信道输入之间互不相交，输出之间也互不相交，信道总的输出与输入集合分为各子信道输出与输入之并集，而且每次传输只能用某个子信道，则称此信道为和信道。

和信道容量：21log 2i NC i C ==∑其中，i C 为每个子信道的容量，第i 个子信道的使用概率为：1222ii iC C Ci NC i r -===∑达到容量时的输入概率为各子信道达到容量时的输入概率乘以i r ，N 为子信道的个数。

10. 各种信息的概率公式：自信息：()()log I x p x =-；联合自信息：()()log I xy p xy =-；条件自信息：()()|log |I x y p x y =-三者的关系：()()()()()||I xy I x I y x I y I x y =+=+； 互信息：()()()()()|,loglog|p x p x y I x y p x y p x =-=； 互信息与自信息和条件自信息的关系：()()(),|I x y I x I x y =-；11. 最佳判决与译码准则： MAP 准则：（输入不等概）（1）信道转移概率矩阵乘以信道输入符号概率得到联合概率矩阵； （2）联合概率矩阵每一列中找到一个最大的概率对应的输入符号就是译码； （3）正确概率是所有译码的概率和，错误概率是1与正确概率的差； ML 准则：（输入等概）（1）信道转移概率矩阵中最大的概率对应的输入符号作为译码输出； （2）正确概率是联合概率分布中译码概率的和，错误概率是1与之的差； 无记忆二元对称信道，最大似然准则等价于最小汉明距离准则；12. 并联高斯信道的容量，能量分布和输入概率分布：（输入均值为0） （1） 并联独立高斯信道：利用注水定理对能量进行分配，计算信道容量，达到容量时，两个信道的输入是独立的，所以输入的概率密度为：()2212122212,22x x p x x σσ⎛⎫=-- ⎪⎝⎭（2） 关联相关高斯信道：将噪声自协方差矩阵分解（如下公式所示），找出等价矩阵，利用注水定理计算信道容量，得到能量分配和输入概率密度公式；41501110122211⎛⎫⎫⎛⎫= ⎪⎪ ⎝⎭⎭⎝⎝ （3） 反推得到输入概率的协方差矩阵，进而得到输入概率的密度公式； （4） 对于独立并联高斯信道，达到容量时各子信道输入是独立的； （5） 对于相关并联高斯信道，达到容量时各子信道输入是相关的； （6） 在总噪声和输入平均能量约束都相同的条件下，相关并联高斯信道的容量大于独立并联高斯信道容量。

自信息量：Harta p Nata p bit a p a I i i ei i )(log)(log)(log )(102-=-=-=联合信息量：)(log)(2j i j i b a p b a I -=条件信息量：)/(log)/(2j i j i b a p b a I -=互信息量: )](/)/([log );(2i j i j i a p b a p b a I =信息的熵：∑=-=ni i i a p a p X H 12)(log)()(条件熵：∑∑==-=mj ni i j j i a b p b a p X Y H 112)/(log)()/(联合熵：∑∑==-=m j ni j i j i b a p b a p XY H 112)(log)()(平均互信息量：)](/)/([log )();(112j mj ni i j j i b p a b p b a p X Y I ∑∑===马尔可夫信源问题： 1.n 元m 阶马尔科夫信源共有n m个稳定状态。

2.用∑==mni i j i js s p s p s p 1)/()()(和1)(1=∑=mni i s p 求各状态)(i s p ；3.极限熵：)/(log )/()(11i j ni nj i j i s s p s s p s p Hmm∑∑==∞-=4.冗余度：0/1H H ∞-=ξ (H0表示等概分布信源的熵，2进制时为1)变长编码定理：m X H K m X H 22log/)(log/)(1≥>+信道容量问题：n 表示输入符号数，m 表示输出符号数。

bit/sign 无噪信道1（一一对应）信道容量：nC2log=无噪信道2（一对多）信道容量：nC 2log =无噪信道3（多对一）信道容量：mC 2log=对称信道（行列均可排列）信道容量：)..(log212m q q q H m C -=当输入X 等概分布时，输出Y 也等概分布，此时达到信道容量。

第一部分绪论（基本概念）1、信息定义（判断）是用于消除随机不确定性的东西。

2、信息的本体论和认识论层次3、信息的性质（选择，判断，案例分析，会用来分析问题）1)普遍性 2)客观性 3)动态性 4)可识别性 5)可传递性 6)可处理性（变换性） 7)可度量性 8)可共享性 9)依附性 10)时效性 11)转化性 12)可伪性13)无限性 14)层次性 15 ）相对性 16）知识性 17 ）转移性4、知识定义：P287知识是经过人得思维整理过程的信息、数据、形象、意象、价值标准以及社会的其他符号化产物5、知识的基本特征P287（7+3 增值性、非遗传性、依附性）1 ）隐含性6）复杂性2 ）实体性7）变化性3 ）共享性8 ）增值性4）主观性9 ）非遗传性5 ）价值性10）依附性6、知识的分类（按载体）：显性知识和隐性知识7、资源定义：窄派定义：自然资源，即自然界存在的天然物质资源。

宽派定义：在自然界和人类社会生活中一种可以用来创造物质财富和精神财富，并且具有一定量积累的客观存在形式。

8、资源的分类（分类准则很多）从资源在人类社会生产中所起的作用划分（1 ）物质资源：向人类提供材料（类比人的体质）（ 2 ）能量资源：向人类提供动力（类比人的体力）（3 ）信息资源：向人类提供知识和智慧（类比人的智力）9、信息资源（广义，简答）一是狭义的理解，认为信息资源是指人类社会活动中经过加工处理的、有序化并大量积累的有用信息的集合，如科技信息、社会文化信息、市场信息等。

二是广义的理解，认为信息资源是人类社会信息活动中积累起来的信息的集合、信息生产者的集合、信息技术的集合。

10、信息资源的特征(3+6个)（简答、选择）P7-111 ）作为生产要素的人类需求性2 ）稀缺性3 ）使用方向的可选择性4 ）共享性5 ）时效性6 ）生产和使用中的不可分性7 ）不同一性 8）驾驭型9 ）累积性与再生性11、简述信息资源管理产生背景（1 ）信息经济的崛起（2 ）信息观念的转变（3 ）信息技术的发展（4 ）企业的根本转变12、信息资源管理（概念 P15 ）是指管理者（如中央或地方政府部分、企业或事业单位）为达到预定的目标，运用现代化的管理手段和管理方法来研究信息资源在经济活动和其他活动中利用的规律，并依据这些规律对信息资源进行组织、规划、协调、配置和控制的活动。

Chp02 知识点：自信息量：1）I ( x i )log p(x i )2）对数采纳的底不一样，自信息量的单位不一样。

2---- 比特（ bit ）、e---- 奈特（nat）、10---- 哈特（ Hart）3）物理意义：事件x i发生从前，表示事件x i发生的不确立性的大小；事件 x i发生此后，表示事件 x i所含有或所能供给的信息量。

均匀自信息量（信息熵）：1）H (x) E[ I (x i)]q p( x i ) log p( x i )i 12）对数采纳的底不一样，均匀自信息量的单位不一样。

2---- 比特 /符号、 e----奈特 /符号、 10---- 哈特 /符号。

3）物理意义：对信源的整体的不确立性的统计描绘。

表示信源输出前，信源的均匀不确立性；信源输出后每个消息或符号所供给的均匀信息量。

4）信息熵的基天性质：对称性、确立性、非负性、扩展性、连续性、递推性、极值性、上凸性。

互信息：p(x i | y j )1）I ( x i; y j)I (x i ) I ( x i | y j )logp( x i )2）含义：已知事件y j后所除去的对于事件x i的不确立性，对信息的传达起到了定量表示。

均匀互信息：1）定义：2）性质：结合熵和条件熵：各种熵之间的关系：数据办理定理：Chp03 知识点：依照不一样标准信源的分类：失散单符号信源：1）概率空间表示：X a1a2L a rP p a1p a2L p a rr0 p a i1,(i 1,2,L , r ); p a i 1i 12）信息熵：H ( x) E[ I (x i)]q p(x i ) log p( x i ) ，表示失散单符号信i 1源的均匀不确立性。

失散多符号信源：用均匀符号熵和极限熵来描绘失散多符号信源的均匀不确立性。

均匀符号熵：H N (X ) 1 H (X1X2...X N)N极限熵（熵率）： H ( X )lim H N ( X )N（1）失散安稳信源（各维结合概率散布均与时间起点没关的信源。

信息论复习知识点(总11页) -CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面，使用请直接删除1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

信息论的数学基础知识
信息论是一门研究信息传输、存储和处理的学科，它的数学基础知识涉及概率论、统计学和离散数学等领域。

信息论的发展始于20世纪40年代，由克劳德·香农提出，并在通信工程、计算机科学和统计学等领域得到了广泛应用。

首先，信息论的基础之一是概率论。

概率论是研究随机现象规律性的数学理论，它在信息论中扮演着重要的角色。

信息论利用概率论的概念来描述信息的不确定性和随机性，例如通过熵来度量信息的不确定度。

概率论的知识使得我们能够量化信息的不确定性，从而为信息传输和处理提供了数学工具。

其次，统计学也是信息论的基础知识之一。

统计学是研究数据收集、分析和解释的学科，它在信息论中用于分析和推断数据。

信息论利用统计学的方法来处理和分析信息的特征，比如通过概率分布来描述信息的特征和规律。

统计学的知识使得我们能够对信息进行建模和分析，从而更好地理解信息的特性和行为。

此外，离散数学也是信息论的重要基础知识。

离散数学是研究离散结构和离散对象的数学学科，它在信息论中用于描述和处理离
散的信息单元，比如比特和符号。

信息论利用离散数学的方法来研究信息的编码、传输和存储，比如通过离散变换和编码算法来处理信息。

离散数学的知识使得我们能够对信息进行离散化处理，从而更有效地进行信息传输和处理。

综上所述，信息论的数学基础知识涉及概率论、统计学和离散数学等领域，这些知识为我们理解和应用信息论提供了重要的数学工具。

通过对这些基础知识的学习和掌握，我们能够更好地理解信息的特性和行为，从而在通信工程、计算机科学和统计学等领域更好地应用信息论的理论和方法。

1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发⎥⎦⎤⎢⎣⎡=6/112/14/12/1][XY P ]12/512/7[][=Y P )5/12(log 12/5)7/12(log 12/7)(22+=Y H )6/1,12/1(4/1)4/1,2/1(4/3)|(H H X Y H +=)|()();(X Y H Y H Y X I -=2）最佳输入分布为，此时信道的容量为]2/12/1[][=X P )3/1,3/2(1H C -=(3)信道的剩余度：);(Y X I C -设有ＤＭＣ，其转移矩阵为，若信道输入概率为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|X Y P ，试确定最佳译码规则和极大似然译码规则，并计算出[][]25.025.05.0=X P 相应的平均差错率。

自信息量：Harta p Nat a p bit a p a I i i e i i )(log )(log )(log )(102-=-=-=联合信息量：)(log )(2j i j i b a p b a I -=条件信息量：)/(log )/(2j i j ib a p b a I -=互信息量:)](/)/([log );(2i j i j i a p b a p b a I =信息的熵：∑=-=ni i i a p a p X H 12)(log )()(条件熵：∑∑==-=m j ni i j j i a b p b a p X YH 112)/(log )()/(联合熵：∑∑==-=m j ni j i j i b a p b a p XY H 112)(log )()(平均互信息量：)](/)/([log )();(112j mj ni i j j i b p a b p b a p X Y I ∑∑===马尔可夫信源问题： 1.n 元m 阶马尔科夫信源共有n m个稳定状态。

2. 用∑==mni i j i j s s p s p s p 1)/()()(和1)(1=∑=mni i s p 求各状态)(i s p ；3.极限熵：)/(log )/()(11i j ni nj i j i s s p s s p s p Hmm∑∑==∞-=4. 冗余度：0/1H H ∞-=ξ (H0表示等概分布信源的熵，2进制时为1)变长编码定理：m X H K m X H 22log /)(log /)(1≥>+信道容量问题：n 表示输入符号数，m 表示输出符号数。

bit/sign 无噪信道1（一一对应）信道容量：n C 2log =无噪信道2（一对多）信道容量：n C 2log =无噪信道3（多对一）信道容量：m C 2log = 对称信道（行列均可排列）信道容量：)..(log 212m q q q H m C-=当输入X 等概分布时，输出Y 也等概分布，此时达到信道容量。

1．名词解释：信息化教育、教育技术(aect94 定义)2．了解信息时代的主要特征3．阐述信息化教育的基本特征4．阐述信息化教育的功能和作用5．了解世界教育技术的发展6．了解我国教育信息化的发展阶段7．阐述信息化教育的理论基础(四种学习理论，四种教学理论，四种传播理论)8．阐述戴尔的经验之塔理论(四种学习理论补充)1．名词解释；信息、媒体、教学媒体2．了解教学媒体发展的四个阶段(教育史上的四次革命)3．了解教学媒体的分类4．了解教学媒体的符号理论5．了解教学媒体编制的效果原理了解各种信息化教学方法含义及应用步骤1．名词解释：教学设计2．掌握教学过程设计的分类3．基于自主学习的教学设计的要素分析4．教学评价量规的设计(补充)5．了解 Webquest 教案设计6．英特尔未来教育教案设计1．掌握信息化教育硬件环境的几种分类方法2．了解典型的信息化教育硬件环境基本情况1．了解录音教学软件的设计2．了解电视教学软件的设计3．掌握多媒体教学软件的类型4．掌握多媒体教学软件的设计与制作及评价方法5．了解网络课件的特点与类型6．掌握教育网站的开辟、管理、维护与评价方法7．教育主题网站的建设(补充)1．名词解释：信息技术与课程整合、信息素质、课件、积件(学习对象)、课程包、 blog (补充)2．理解信息技术与课程整合的意义及原则3．掌握信息技术与课程整合的三种基本模式4．了解信息技术与课程整合的资源5．了解信息技术与课程整合的案例1．名词解释：现代远程教育、混合学习2．了解远程教育的发展历史以及中国现代远程教育的发展3．了解远程教育的学习资源建设4．了解现代远程教育的学习服务体系5．掌握现代远程教育的常用教学模式6．掌握混合学习的分类1．名词解释：实验研究、行动研究、质的研究、叙事研究2．掌握信息化教育研究的对象(aect94定义,aect2005 新定义)3．掌握信息化教育研究课题设计的基本原则1．名词解释：信息化教育管理2．描述信息化教育管理的基本内容3．分析在信息化教育管理过程中如何体现以人为本的思想为重要目标的一种新的教育方式。

一、信息的基本知识1.信息的概念♦信息是用来描述各种事物的特征、变化及相互关系的数据所表达的内容。

♦信息论的创始人香农认为：信息是能够用来消除不确定性的东西。

♦广义的信息指的是客观世界中各种事物的存在方式和他们的运动状态的反映。

通俗的说，信息就是客观世界一切事物存在和运动所能发出的各种信号和消息。

2.信息的作用♦近代控制论创始人维纳指出（1948年）：信息就是信息，不是物质，也不是能量。

♦信息、物质和能量构成了人类社会赖以生存和发展的三大资源。

3.信息的特征♦(1)信息的传载性：（信息与信息载体的联系和区别）信息的传载性是指信息可以传递，并且在传递中必须依附于某种载体。

通常，语言、文字、声音、图像等都是信息的载体，用于承载语言、文字、声音、图像的物质也是信息的载体。

(2)信息的共享性(3)信息的可处理性(4)信息的时效性4.信息的处理过程♦人们把获取原始信息，对它进行加工处理，使之成为有用信息的过程统称为信息处理，包括对信息的获取、存储、加工、表达、传播、转换和使用。

♦获取→存储→加工→表达5.常见的信息技术♦感测技术：就是获取信息的技术。

主要是对信息进行提取、识别或检测并能通过一定的计算方式显示计量结果。

比如：电子温度计、人脸或指纹识别系统、OCR等。

♦通信技术：就是传递信息的技术。

它的主要功能是实现信息从空间一点到另一点的快速、可靠和安全的转移，是整个信息过程中最基础的环节。

♦计算技术：就是处理信息的技术，它包括对信息的编码、运算、判断等。

♦控制技术：是对获取的信息进行加工和逻辑判断的基础上作出决策并对操作对象实施控制的技术。

6.信息科技的发展及影响♦计算机发展历经四代：电子管计算机、晶体管计算机、集成电路计算机、大规模和超大规模集成电路计算机♦电子计算机正向着巨型化、微型化、网络化等诸多方向发展。

7.信息技术的广泛应用和影响。

♦（1）信息技术推动社会经济发展（2）信息技术促进政治文明和社会进步（3）信息技术加快贸易电子化（4）信息技术改变人们的工作、学习和生活方式（5）信息技术对社会发展的负面影响。

信息论中的⼀些基本的知识（以下内容来⾃维基百科：）⾃信息：由提出，是与概率空间中的单⼀事件或离散随机变量的值相关的信息量的量度。

它的定义为：⼀个随机产⽣的事件所包含的⾃信息数量，只与事件发⽣的概率相关。

事件发⽣的概率越低，在事件真的发⽣时，接收到的信息中，包含的⾃信息越⼤。

此外，根据定义，⾃信息的量度是正的⽽且是可加的。

如果事件C是两个事件A和B的交集，那么宣告C发⽣的信息量就等于分别宣告事件A和事件B的信息量的和：I(A ∩ B)=I(A)+I(B).所以，考虑以上的性质，就定义了⾃信息，⽤ I 表⽰：假设事件 x 发⽣的概率为P（x），则⾃信息符号定义为：I（x） = log(1 / p（x））= -log（p（x））。

注意：在以上定义中，没有指定对数的基底。

如果以 2 为底，单位是。

当使⽤以 e 为底的对数时，单位将是 nat。

对于基底为 10 的对数，单位是 hart。

互信息：在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。

不同于相关系数，互信息并不局限于实值随机变量，它更加⼀般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。

互信息是点间互信息（PMI）的期望值。

互信息最常⽤的单位是bit。

⼀般地，两个离散随机变量X和Y的互信息可以定义为：在连续随机变量的情形下，求和被替换成了⼆重定积分：互信息与熵的关系：信息熵：⽤⼀句话说，为随机事件x的⾃信息的期望就是信息熵，它是⼀个事件的不确定的度量。

它的符号定义为：H(x) = E[I(x)] = E[-log( p(x) ) ]当取⾃有限的样本时，熵的公式可以表⽰为：熵的极值：当所有符号等可能出现的情况下，熵达到最⼤值（所有可能的事件等概率时不确定性最⾼）。

条件熵：在信息论中，条件熵描述了在已知第⼆个随机变量X 的值的前提下，随机变量Y的信息熵还有多少。