下载文档原格式
信息论复习提纲第一章1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能（1）信息源：产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
（2）编码器：信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延第二章1、信源的分类，着重单符号信源。
信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：单消息（符号）信源－－离散信源单消息（符号）信源－－连续信源2、自信息的计算及物理含义，单位与底数的关系，含义。
计算：含义：当事件ai发生以前，表示事件ai发生的不确定性当事件ai发生以后表示事件ai所含有（所提供）的信息量单位与底数的关系：通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为哈特（Hart）。
它们之间可以引用对数换底公式进行互换。
复习提纲第一章概述提纲：I.什么是信息II.什么是信息论需掌握的问题：1.信息的定义是什么（有通俗定义、广义定义、Shannon信息论定义）2.它们三个定义的区别3.什么是信息论，它研究范围的是什么4.狭义信息论的研究内容5.画出通信系统模型图，并说明每一部分的作用。
第二、三章信源熵提纲：I.信源的数学模型及分类II.自信息量III.互信息量IV.熵1.定义2.含义3.联合熵、条件熵4.性质（9个）V.平均互信息1.定义2.含义3.联合平均互信息、条件平均互信息4.性质（6个）VI.离散信源的数学模型及分类1.随机过程介绍2.数学模型3.分类VII.无记忆多符号离散平稳信源VIII.马尔可夫信源1.m阶马尔可夫信源2.含义IX.信源相关性和冗余度1.信源冗余度2.熵的相对率需掌握的问题：1.信源的数学模型是什么2.信源如何分类，不同信源类别的区别是什么3.不同类别信源的数学描述是什么4.自信息量的大小如何计算（公式）5.自信息量公式中对数的底数不同单位分别是什么（单位的中英文名称）6.自信息量的含义是什么（它是对什么量的度量）7.联合自信息量、条件自信息量、自信息量之间的关系是什么8.自信息的性质是什么说明各个性质的含义。
9.互信息量的大小如何计算（公式）10.互信息量的含义是什么互信息量在通信系统模型中描述哪部分的信息量11.联合互信息量、条件互信息量、互信息量之间的关系是什么12.互信息的性质是什么13.熵的表达式是什么怎么推导的14.熵的单位是什么15.熵的含义是什么16.单符号离散信源最大熵是多少信源概率如何分布时能达到17.熵的性质是什么（能够证明，并说明每个性质的含义）18.联合熵、条件熵和熵的关系。
19.平均互信息的定义是什么平均互信息的表达式怎么推导20.信道疑义度、损失熵和噪声熵的含义21.平均互信息的性质（能够证明，并说明每个性质的含义）22.联合平均互信息、条件平均互信息和平均互信息的关系23.自信息量、熵、互信息、平均互信息之间的关系24.离散信源的数学模型如何描述25.离散信源如何分类26.无记忆多符号离散平稳信源的熵如何计算27.有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵的关系和性质。
第二章知识要点： 1．自信息量：(),)log ()i i i i p x p x =-设事件x 的概率为那么，他的自信息定义为I(x上定义式取对数的底为2，信息量的单位为比特 (bit); 上定义式取对数的底为e ，信息量的单位为奈特 (nat);上定义式取对数的底为10，信息量的单位为哈脱来(haitely---hat)。
2．互信息量：(|)(;)log ()11loglog()(|)i j i j i i i j p x y I x y p x p x p x y ==-3．平均自信息量（熵）1()[()][log ()]()log ()qi i i i i H X E I x E p x p x p x ===-=-∑3’.熵函数：12121X ,,...,()()(,,...,)log q qq i ii p p p H X H p H p p p p p ===-∑因为随机变量集的熵H(X)只是其概率分布的函数，所以熵函数又可记为4．条件熵：(|)()(|)()log (|)XYXYH Y X p xy I y x p xy p y x ==-∑∑5．联合熵(,)()()()log ()i j i j XYi j i j XYH X Y p x y I x y p x y p x y ==-∑∑6．平均互信息量(;)()(;)(|)()log()()(;)j j Yi j i j XYi i j i j XYI X Y p y I X y p x y p x y p x p x y I x y ===∑∑∑2.9 如有6行8列的棋型方格，若有2个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为(X A ，Y A )、(X B ，Y B )，但A ，B 不能落入同一方格内。
试求： (1)若仅有质点A ，求A 落入任一个方格的平均自信息量是多少? (2)若已知A 已人，求B 落人的平均自信息量。
书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。
因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之，若R>C,则传输总要产生失真。
又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。
故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。
8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念：信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
第一章 绪论1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。
信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。
包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。
（5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。
③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。
④、要求信源为随机过程，不研究信宿。
第二章 信息的度量2.1 自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I是()i x p 的严格递减函数。
当()()21x p x p <时()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。
()()()i i i x p x p x I 1loglog =-=②、极限情况下，当()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。
《信息论与编码技术》复习提纲复习题《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。
信息论期中复习复习课：第一章绪论1:信息论的起源是什么？谁？什么文章？1948年美国工程师和数学家香农发表的《通信的数学理论》------标志着信息论的产生2：信息的分类:信息分成3 个基本层次:语法(Syntactic)信息、语义信息、谁语用信息信息本体论层次认识论层次语用信息语义信息语法信息确定信息偶发信息模糊信息概率信息信息消息（内容）信号（载体）3、信息有基本特征：1）许多与物质、能量相同的特征，例如信息可以产生、消失、携带、处理和量度；2) 信息也有与物质、能量不同的特征，例如，信息可以共享，可以无限制地复制等。
4、通信系统的数学模型：3.1、信源信源是信息的来源，其功能是直接产生可能包含信息的消息信源的分类1) 无记忆信源和有记忆信源 2 ) 离散信源和连续信源连续信源又分为：离散时间连续信源波形信源或模拟信源3.2、编码器信源编码器:目的是提高传输有效性信道编码器:目的是提高传输可靠性调制器:将编码器的输出符号变成适合信道传输的信号，目的是，提高传输效率模拟系统仅有：调制器 3.3信道狭义信道和广义信道无噪声信道和有噪声信道(一般信道研究的是理想加性高斯白噪声（AWGN ）信道)3.4译码器从信号中恢复消息。
解调器:信道输出信号恢复成符号；信道译码器: 去掉解调器输出符号中的冗余符号信源译码器:信道译码器输出符号变成消息3.5信宿接收信息4、通信系统性能指标的评价信道信源译码器编码器信宿噪声信号信号加噪声消息消息有效性:用频谱利用率来衡量。
提高有效性的措施是，采用信源编码以压缩码率，采用频谱利用率高的调制减小传输带宽；可靠性: 用传输错误率来衡量。
提高可靠性的措施是，采用信道编码以降低错误率；安全性:可通过信息的加密强度来衡量。
提高安全性的措施是，采用强度高的加密和伪装技术。
5、香农信息论的主要内容一个概念，三个定理信息熵三个编码定理无失真信源编码定理:信源编码码率（编码后传送信源符号所需比特数）不小于信源的熵，就存在无失真编码信道编码定理：信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，反之不存在使差错任意小的编码信息率失真理论:对任何失真测度D 0，只要码可找到一种编码，使得当信源编码的码率 R （D ）字足够长，总时，码的平均失真D ；反之，如果信源编码的码率 < R （D ），就不存在平均失真 D 的编码。
信息论信息论与编码考试复习⼤纲第⼀章1. 通信系统的物理模型。
2. 根据信息论的各种编码定理和通信系统指标，编码问题可分解为3类，分别是：信源编码，信道编码，和加密编码。
3. 简述信息的四个主要特征。
4. 简述⼀个通信系统包括的各主要功能模块及其作⽤。
第⼆章1. 信源的分类：⽆记忆信源（单个符号的⽆记忆信源和符号序列的⽆记忆信源）和有记忆信源（符号序列的有记忆信源和符号序列的马尔科夫信源）。
2. ⾃信息量的计算公式，注意单位。
3. 离散信源熵计算公式，例2-5（基本）；特别是联合熵和条件熵和下⾯的互信量的计算（⼤题）。
4. 互信息的计算，三种表达式。
例：设信源发出消息i x ，通过信道后信宿收到j y ，则互信量的表达式为？5. 疑义度和噪声熵的概念。
6. 熵的性质：⾮负性，对称性，确定性，⾹农辅助定理，最⼤熵定理。
7. 连续信源的最⼤熵定理：限峰功率最⼤熵定理（满⾜？分布，分布函数是？）和限平均功率最⼤熵定理（满⾜？分布，分布函数？），其值是多少？8. 冗余度的计算。
第三章1. 信息传输率和信息传输速率公式和物理意义。
2. 信道容量的计算公式，及物理意义。
3. 对称DMC信道和准对称DMC信道的信道容量计算（⼤题）；⼆进制均匀信道的数学表达式，及信道容量C与信道转移概率p 的曲线图。
4. 限时限频限功率的加性⾼斯⽩噪声信道的信道容量计算（⾹农公式）（⼤题）。
第四章1. 信息率失真函数的计算。
2. 信息率失真函数的性质，特别是定义域的计算（⼤题）。
第五章1. 定长编码定理的内容。
2. 变长编码定理，包括单个符号变长编码定理和离散平稳⽆记忆序列变长编码定理的内容。
3. 最佳变长编码：⾹农编码⽅法，费诺编码⽅法和哈夫曼编码⽅法（⼤题，要求写过程）。
4. 限失真信源编码定理：游程编码。
第六章1. 差错控制系统分类：前向纠错，反馈重发，混合纠错。
2. 信道编码定理的内涵。
3. 从信道编码定理出发分析减少差错概率的途径.4. 译码⽅法-最优译码与最⼤似然译码的概率。
《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I. 什么是信息？II. 什么是信息论？III. 什么是信息的通信模型？IV. 什么是信息的测度？V. 自信息量的定义、含义、性质需掌握的问题：1. 信息的定义是什么？（广义信息、狭义信息Sha nnon 信息、概率信息）2. Shannon 信息论中信息的三要素是什么？3. 通信系统模型图是什么？每一部分的作用的是什么？4. 什么是信息测度？5. 什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6. 自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I. 信源的定义、分类II. 离散信源的数学模型III. 熵的定义、含义、性质，联合熵、条件熵IV. 离散无记忆信源的特性、熵V. 离散有记忆信源的熵、平均符号熵、极限熵VI. 马尔科夫信源的定义、状态转移图VII. 信源的相对信息率和冗余度需掌握的问题：1•信源的定义、分类是什么？2. 离散信源的数学模型是什么？3•信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4. 单符号离散信源最大熵是多少？信源概率如何分布时能达到？5•信源的码率和信息率是什么，如何计算？6•什么是离散无记忆信源？什么是离散有记忆信源？7. 离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8. 离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9. 什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10. 马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11. 马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12. 信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲:I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1. 信道的定义是什么？信道如何分类？信道的数学模型是什么？2. 二元对称信道和二元删除信道的信道传输概率矩阵是什么？3. 对称信道的信道传输概率矩阵有什么特点？4. 根据信道的转移特性图，写出信道传输概率矩阵。
信息论与编码《信息论与编码》复习提纲第1章绪论1、信息的概念，通俗、⼴义、狭义的概念2、信息、消息、信号3、通信系统模型4、通信系统的技术指标，有效性、可靠性第2章信源与信息熵1、信源的分类2、信源的数学模型3、马尔克夫信源4、离散信源的⾃信息、信息熵5、条件熵和联合熵6、互信息及其性质7、条件熵之间的关系，维拉图8、信息熵的性质9、信息熵的计算，各种概率的计算、各种熵的计算（例2-9, p.21）10、连续信源的熵，绝对熵和相对熵11、最⼤熵定理，峰值功率受限、平均功率受限12、离散序列信源的熵，平均符号熵、条件熵、极限熵13、信源冗余度及产⽣的原因第3章信道与信道容量1、信道模型，转移矩阵、2、信道种类：BSC、DMC、离散时间⽆记忆信道、波形信道3、信道容量的定义4、⼏种特殊信道的信道容量、BSC信道C~ε曲线5、离散序列信道及其容量（BSC⼆次扩展信道）6、连续信道及其容量，Shannon公式7、信源与信道的匹配，信道冗余度第4章信息率失真函数1、失真函数、失真矩阵、平均失真2、信息率失真函数，定义、物理意义，保真度准则3、信息率失真函数的性质，信息率失真函数曲线4、信息率失真函数与信道容量的⽐较5、某些特殊情况下R(D) 的表⽰式第5章信源编码1、信源编码的基本概念（主要任务、基本途径）2、码的基本概念、分类3、唯⼀可译码的含义，充要条件4、码树图及即时码的判别5、定长编码定理，编码信息率，编码效率6、变长编码定理（Shannon第⼀定理），编码剩余度，紧致码7、Shannon编码，⾃信息与码长的联系8、Fano编码，与码树图的联系、是否是紧致码9、Huffman编码，计算平均码长、信息传输率、编码效率（例5-7, p.96）10、Shannon第三定理（限失真编码定理）及逆定理11、游程编码，基本原理、特性、主要应⽤12、算术编码，基本思想第6章信道编码1、差错，差错符号，差错⽐特，差错图样类型2、纠错码分类，差错控制系统分类3、随机编码，Shannon第⼆定理（信道编码定理），差错概率、译码规则、平均差错概率4、可靠性函数曲线5、差错控制途径、措施，噪声均化、交错（交织）6、码距与纠、检错能⼒7、最优译码、最⼤似然译码、最⼩汉明距离译码8、线性分组码，基本概念，码重9、⽣成矩阵和校验矩阵，系统形式（例6-2, p.137）10、伴随式与标准阵列译码11、循环码及其特征，⼏种常⽤循环码12、卷积码，基本概念、编码原理、编码器结构、卷积码描述⽅法、Viterbi译码第7章加密编码1、加密编码中的基本概念2、安全性，保密性，真实性3、对称（单密钥）体制与⾮对称（双密钥）体制1.信息论研究的⽬的是提⾼信息系统的___可靠性___，____有效性____，____安全性___，以便达到系统的最优化。
第一章
1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能
（1）信息源：产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
（2）编码器：
信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性
信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质
（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系
信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；
消息---则是抽象信息在数学层表达的外延
第二章
1、信源的分类，着重单符号信源。
信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：
单消息（符号）信源－－离散信源
单消息（符号）信源－－连续信源
2、自信息的计算及物理含义，单位与底数的关系，含义。
计算：
含义：当事件ai发生以前，表示事件ai发生的不确定性
当事件ai发生以后表示事件ai所含有（所提供）的信息量
单位与底数的关系：
通信与信息中最常用的是以2为底，这时单位为比特（bit）；
理论推导中用以e为底较方便，这时单位为奈特（Nat）；
工程上用以10为底较方便，这时单位为哈特（Hart）。
它们之间可以引用对数换底公式进行互换。
比如：
1 bit = 0.693 Nat = 0.301 Hart
3、互信息的计算。
ex ：设信源发出消息，通过信道后信宿收到，则互信息量的表达式
4、 离散单符号信源熵的计算，注意单位，熵的物理含义。
计算：
单位：（Bit/符号） 物理含义：
熵是随机变量的随机性的描述。
熵是信源输出消息前随机变量平均不确定性的描述
信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量
5、信源熵的性质，着重非负性(会证明)，对称性，最大离散熵定理，强可加性，上凸性。
(1) 非负性 证明一：
而：
故： （取底数大于1时） 所以：
证明二：
有： 或： 所以：
(2) 对称性
① 定义：当变量p(x1),p(x2),…,p(xn) 的顺序任意互换时，熵函数的值不变，即
② 含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。
如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。
(3) 最大离散熵定理
定理：离散无记忆信源输出N 个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/N)，熵最大。
H[p(x1),p(x2),…,p(xN) ]≤H(1/N,1/N,…,1/N)=log2N
结论：出现任何一个符号的可能性相等时，信源的平均不确定性最大。
∑
=-=N
n n
n N p p p p p H 121log ),...,,(∑=-=N
n
n n N p p p p p H 1
21log ),...,,(1
0≤≤n
p 0
log ≤n p 0)(≥P H 101>>>∀x x 1log
-≤x x x
x
-≥1log 10
)1(log )(1
1
1≥-≥=∑
∑==n N
n n p N n n p p p P H n
(4) 扩展性 (5) 确定性 (6) 可加性
H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)
(7) 上凸性
设有一个多元矢量函数 f(x1,x2,…,xn)=f(X )，对任一小于1的正数α(0＜α＜1)及f 的定义域中任意两个矢量X ,Y ，
若f[αX +(1-α)Y ]＞αf(X )+(1-α)f(Y )，则称f 为严格上凸函数。
设P ,Q 为两组归一的概率矢量：
P =[p(x1),p(x2), …,p(xn)]，Q=[p(y1),p(y2), …,p(yn)]
0≤p(xi)≤1，0≤p(yi)≤1，
有：
H[αP +(1-α)Q ]＞αH(P )+(1-α)H(Q )
6、什么是离散无记忆信源X 的N 次扩展信源？扩展信源的符号个数
定义：一个离散无记忆信源X ，其样本空间为{a1,a2,…,aq}，信源输出的消息可以用一组组长度为N 的序列表示。
此时信源X 可等效成一个新信源XN=（X1,X2,…,XN ），其中的每个分量Xi 都是随机变量，都取于X ，分量之间统计独立，这样的新信源就是离散无记忆信源X 的N 次扩展信源。
结论：离散无记忆信源X 的N 次扩展信源的熵等于离散信源x 的熵的N 倍。
7、某一二维离散无记忆平稳信源：
联合概率：
8、联合熵，条件熵之间的关系： H(X1X2) = H(X1)+ H(X2/X1)
)()(X NH X H N =⎥
⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)(),(),(,,
)(2121q q a P a P a P a a a x P X )(j i a a P ∑∑
==-=q i q
j j i j i a a P a a P X X H 112
1)(log )()(
⏹求联合熵H(X1X2)
⏹求条件熵H(X2/X1)
9、剩余度与信源输出的符号序列的依赖程度之间的关系。
信源编码是通过减小剩余度来提高有效性的。
剩余度可以衡量信源输出序列中符号间的依赖程度，也表明了信源可压缩的程度。
剩余度r越大，表示信源的实际熵越小，即表明信源符号间的依赖关系越强。
第三章 离散信道
1、信道的分类，着重单符号信道，离散信道，无噪信道，N 次扩展信道 (1) 根据输入、输出端用户的个数
单用户信道——输入、输端出均只有一个用户
多用户信道——输入、输出端至少有一端包含两个以上用户
(2) 根据输入、输出端的关联
无反馈信道——输出端无信号反馈到输入端 反馈信道 ——输出端的信号反馈到输入端
(3) 根据信道的参数与时间的关系
固定参数信道——参数不随时间变化而改变 时变参数信道——参数随时间变化而变化
(4) 根据输入、输出随机变量的个数
单符号信道——输入、输出均用随机变量表示 多符号信道——输入、输出用随机矢量表示
(5)根据输入、输出随机信号特点
离散信道——输入、输出随机序列均离散取值 连续信道——输入、输出随机序列均连续取值 半离散(连续)信道——一为离散，另一为连续
2、信道的三种数学模型：图示法，信道矩阵法
3、单符号离散信道的传递概率；二元对称信道、二元删除的数学模型，传递概率矩阵的特点。
概率：
模型：
二者共同描述一个二维离散平稳信源。
X Y ]
),(,[Y x y P X
)()()(i j i j a b P a x b y P x y P ====信道
特点：
传递矩阵中每一行之和等于1。
4、单符号离散信道的各概率关系
5、信道疑义度的计算，平均互信息的计算，及平均互信息与各熵之间的关系（数
学公式和图示两种描述），平均互信息的物理含义
信道疑义度
平均互信息与各熵之间的关系
I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y/X)
平均互信息的物理含义
①观察者站在输出端
②观察者站在输入端
③观察者站在通信系统总体立场上
6、无噪无损信道，全损信道的平均互信息的取值，信道的输入输出信源的熵值
7、平均互信息的性质
②对称性
I(X;Y)= I(Y;X)
②非负性
即I(X;Y)≥0，当且仅当X和Y相互独立，即p(x i y j)= p(x i) p(y j)
I(X;Y)=0
③极值性
I(X;Y)≤H(X) I(Y;X)≤H(Y)
③凸函数性
平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数
平均互信息量I(X;Y)是输入转移概率分布p(yj /xi)的下凸函数
8、信道容量的与平均互信息的关系。
信道的信息传输率R(信道中平均每个符号所能传送的信息量)：就是平均互信息 R=I(X;Y)。
9、无噪无损信道，有噪无损信道，无噪有损信道的信道容量的计算。
10、会判断强对称离散信道，对称离散信道，并会计算其信道容量。
