信息论与编码复习重点整理(1页版)

[信息论与编码]知识点总结2021/12/02 from Xwhite这个是预习完之后，感觉应该掌握的⼀些知识的总结。

总共分成四个⼤部分吧信息量与信源熵 公式背住，然后套公式，冗余度的概念信道和信道容量 概念，互信息的计算，简单信道容量的计算信源编码 概念，定长编码，变长编码，哈夫曼编码（应该是必考），⾹农编码信道编码 挺难的，编码定理得看，纠错编译码的概念看看就⾏，线性分组码必会，循环码，汉明码。

卷积码应该不考知识点总结第⼀章的⼀些基本概念看书就完了，⽐如信息、消息、通信模型等。

信息量与信源熵背熟！背熟！背熟！因为是知识点总结，所以基本只给出公式，想加深了解可以看课本，当然也可以看看本博客的⽂章先验概率：⽐如，考完试你估算⾃⼰及格的概率是50%，这就是先验概率，你及格的概率。

后验概率：⽐如，你估算完之后，你找个最差的同学⼀问，他说他能及格，也就是在你已知他可能及格的条件下你及格的概率，就是后验概率。

总结如果做题过程中，题⽬问的是单个符号的⾃信息量，那么我们就⽤以下公式。

如果题⽬问的是离散信源的信息量，或者熵，就⽤以下公式。

各概念之间的关系补充⼀些概念我们从信息量的传输⾓度来看通信模型信源：发出信息量H(X)——>信道：信道中损失的信息量H(X|Y)——>信宿：接收端获得的信息量I(X;Y) H(X|Y)：疑义度，也可以叫损失熵，表⽰由于信道上存在⼲扰和噪声⽽损失掉的平均信息量。

H(Y|X)：噪声熵全损信道：⼲扰很⼤，难以从Y中提取X的有效信息，信源发出的所有信息都损失在信道中I(X;Y)=0 ⽐如：加密编码⽆损信道：没有⼲扰，接收端能完全收到信源发出的信息。

I(X;Y)=H(X)冗余度概念看看书。

想要对这⾥的深⼊理解可以看⼀下课本或者看⼀下博客中离散信道的⽂章。

信道和信道容量信道的概念请⾃⾏看书记忆。

总结信源编码定长码：若⼀组码中所有码字的码长相同，则称为定长码变长码：若⼀组码中所有码字的码长各不相同，则称为变长码奇异码：若⼀组码中存在相同的码字，则称为奇异码。

信息论与编码1. 通信系统模型信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | |（加密密钥） 干扰源、窃听者 （解密秘钥）信源：向通信系统提供消息的人或机器信宿：接受消息的人或机器信道：传递消息的通道，也是传送物理信号的设施干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码：编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源）译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化信道编码：编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性译码器：将落在纠检错范围内的错传码元检出或纠正基本途径：增大码率或频带，即增大所需的信道容量2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =-表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。

条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =-联合自信息：(,)log ()XY i j XY i j I x y P x y =-3. 互信息：;(/)()(;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y ==信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。

4. 信息熵：()()log ()i iiH X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。

[信息论与编码]知识点总结2021/12/02 from Xwhite这个是预习完之后，感觉应该掌握的⼀些知识的总结。

总共分成四个⼤部分吧信息量与信源熵 公式背住，然后套公式，冗余度的概念信道和信道容量 概念，互信息的计算，简单信道容量的计算信源编码 概念，定长编码，变长编码，哈夫曼编码（应该是必考），⾹农编码信道编码 挺难的，编码定理得看，纠错编译码的概念看看就⾏，线性分组码必会，循环码，汉明码。

卷积码应该不考知识点总结第⼀章的⼀些基本概念看书就完了，⽐如信息、消息、通信模型等。

信息量与信源熵背熟！背熟！背熟！因为是知识点总结，所以基本只给出公式，想加深了解可以看课本，当然也可以看看本博客的⽂章先验概率：⽐如，考完试你估算⾃⼰及格的概率是50%，这就是先验概率，你及格的概率。

后验概率：⽐如，你估算完之后，你找个最差的同学⼀问，他说他能及格，也就是在你已知他可能及格的条件下你及格的概率，就是后验概率。

总结如果做题过程中，题⽬问的是单个符号的⾃信息量，那么我们就⽤以下公式。

如果题⽬问的是离散信源的信息量，或者熵，就⽤以下公式。

各概念之间的关系补充⼀些概念我们从信息量的传输⾓度来看通信模型信源：发出信息量H(X)——>信道：信道中损失的信息量H(X|Y)——>信宿：接收端获得的信息量I(X;Y) H(X|Y)：疑义度，也可以叫损失熵，表⽰由于信道上存在⼲扰和噪声⽽损失掉的平均信息量。

H(Y|X)：噪声熵全损信道：⼲扰很⼤，难以从Y中提取X的有效信息，信源发出的所有信息都损失在信道中I(X;Y)=0 ⽐如：加密编码⽆损信道：没有⼲扰，接收端能完全收到信源发出的信息。

I(X;Y)=H(X)冗余度概念看看书。

想要对这⾥的深⼊理解可以看⼀下课本或者看⼀下博客中离散信道的⽂章。

信道和信道容量信道的概念请⾃⾏看书记忆。

总结信源编码定长码：若⼀组码中所有码字的码长相同，则称为定长码变长码：若⼀组码中所有码字的码长各不相同，则称为变长码奇异码：若⼀组码中存在相同的码字，则称为奇异码。

自信息量：Harta p Nat a p bit a p a I i i e i i )(log )(log )(log )(102-=-=-=联合信息量：)(log )(2j i j i b a p b a I -=条件信息量：)/(log )/(2j i j ib a p b a I -=互信息量:)](/)/([log );(2i j i j i a p b a p b a I =信息的熵：∑=-=ni i i a p a p X H 12)(log )()(条件熵：∑∑==-=m j ni i j j i a b p b a p X YH 112)/(log )()/(联合熵：∑∑==-=m j ni j i j i b a p b a p XY H 112)(log )()(平均互信息量：)](/)/([log )();(112j mj ni i j j i b p a b p b a p X Y I ∑∑===马尔可夫信源问题： 1.n 元m 阶马尔科夫信源共有n m个稳定状态。

2. 用∑==mni i j i j s s p s p s p 1)/()()(和1)(1=∑=mni i s p 求各状态)(i s p ；3.极限熵：)/(log )/()(11i j ni nj i j i s s p s s p s p Hmm∑∑==∞-=4. 冗余度：0/1H H ∞-=ξ (H0表示等概分布信源的熵，2进制时为1)变长编码定理：m X H K m X H 22log /)(log /)(1≥>+信道容量问题：n 表示输入符号数，m 表示输出符号数。

bit/sign 无噪信道1（一一对应）信道容量：n C 2log =无噪信道2（一对多）信道容量：n C 2log =无噪信道3（多对一）信道容量：m C 2log = 对称信道（行列均可排列）信道容量：)..(log 212m q q q H m C-=当输入X 等概分布时，输出Y 也等概分布，此时达到信道容量。

第一章1.通信系统的基本模型2•信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等1•自信息量：一个随机事件发生某一结果所带的信息量2.平均互信息量：两个离散随机事件集合X和丫，若其任意两件的互信息量为I (Xi;Yj)，贝U其联合概率加权的统计平均值，称为两集合的平均互信息量，用I (X;Y )表示3.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。

所以信源平均功率和熵功率之差称为连续信源的剩余度。

信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度:1意义：针对最大熵而言，无用信息在其中所占的比例3 .极限熵:比(小=片(灯) 沖/V= limH (心1如兀人x^y平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到 无穷。

H ( X N )无记忆NH ( X ) H ( X )-—口一」称为平均符号熵N5 .离散信源和连续信源的最大熵定理。

离散无记忆信源，等概率分布时熵最大。

连续信源，峰值功率受限时，均匀分布的熵最大 平均功率受限时，高斯分布的熵最大。

均值受限时，指数分布的熵最大6 •限平均功率的连续信源的最大熵功率:H ( XN)有记忆即 H( X N)H( X N)N定义:若一个连续信源输出信号的平均功率被限定为p，则其输出信号幅度的概率密度1分布是高斯分布时，信源有最大的熵，其值为-log2 ep.对于N维连续平稳信源来说,2若其输出的N维随机序列的协方差矩阵C被限定，则N维随机矢量为正态分布时信源1 N的熵最大，也就是N维高斯信源的熵最大，其值为—log |C | log 2 e2 27. 离散信源的无失真定长编码定理：离散信源无失真编码的基本原理砰---------- ►编码器--------------- ”刊图5.1篱散信源无失真定扶编码康理團原理图说明：(1)信源发出的消息：是多符号离散信源消息，长度为L,可以用L次扩展信源表示为：X L=(X I X2……X L)其中，每一位X i都取自同一个原始信源符号集合(n种符号)：X={x 1, X2, ••*}则最多可以对应n L条消息。

《信息论与编码技术》复习提纲一、考试题型1.填空题（共5题20%）2.判断题（共5题10%）3.选择题（共5题15%）3.计算题（共4题55%）二、考试时间（12月28日8：30-10：30）三、复习题纲第1章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？需掌握的问题：1.信息的定义是什么，信息、消息、信号之间联系与区别？P22.通信系统模型哪几部分组成？每一部分的作用的是？P83.信息论研究的主要内容？P10第2章信源及其熵I.信源的定义、分类II.离散信源的数学模型III.自信息、信息熵的定义、含义、基本性质IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？P142.离散信源的数学模型是什么？ P143.自信息、信息熵的表达式是什么？其单位是什么？含义是什么？性质是什么？P19，20 五个性质：对称性，确定性，非负性，扩展性，可加性，极值性4.离散无记忆信息熵最大时，信源概率如何分布能达到？P255.离散无记忆信源的扩展信源的定义及其扩展熵计算 P27参考P27例2.3.16.一维平维信源的定义？二维平稳信源的定义？联合熵、条件熵的计算？P30-31 参考P30 2.4.2 2.4.4 2.4.57.熵之间的相互关系？P348.连续信源的最大熵定理？P389.平均码长、编码效率、信息传输率的定义及计算？P43第3章信道及其容量I.信道的数学模型II.典型离散信道的数学模型III.二元对称信道的定义和性质IV.互信息的定义、性质V.平均互信息的定义、含义、性质VI.信道容量的定义，香农公式应用VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道的数学模型是什么？P47， P492.二元对称信道的定义及其转移矩阵是什么？ P523.信道疑义度（H（X|Y）、噪声熵（H（Y|X））、平均互信息（I（X，Y））的定义？ P53-554.平均互信息的计算，及平均互信息的性质？P585.扩展信源的转移矩阵？及互信息的不等式？参考P626.信息容量的定义？无噪无损信道、有噪无损信道、无噪有损信道、对称信道的信道容量如何计算？P637.香农公式是什么？物理意义是什么？会利用香农公式对实际问题作分析。

《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I. 什么是信息？II. 什么是信息论？III. 什么是信息的通信模型？IV. 什么是信息的测度？V. 自信息量的定义、含义、性质需掌握的问题：1. 信息的定义是什么？（广义信息、狭义信息Sha nnon 信息、概率信息）2. Shannon 信息论中信息的三要素是什么？3. 通信系统模型图是什么？每一部分的作用的是什么？4. 什么是信息测度？5. 什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6. 自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I. 信源的定义、分类II. 离散信源的数学模型III. 熵的定义、含义、性质，联合熵、条件熵IV. 离散无记忆信源的特性、熵V. 离散有记忆信源的熵、平均符号熵、极限熵VI. 马尔科夫信源的定义、状态转移图VII. 信源的相对信息率和冗余度需掌握的问题：1•信源的定义、分类是什么？2. 离散信源的数学模型是什么？3•信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4. 单符号离散信源最大熵是多少？信源概率如何分布时能达到？5•信源的码率和信息率是什么，如何计算？6•什么是离散无记忆信源？什么是离散有记忆信源？7. 离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8. 离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9. 什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10. 马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11. 马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12. 信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲:I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1. 信道的定义是什么？信道如何分类？信道的数学模型是什么？2. 二元对称信道和二元删除信道的信道传输概率矩阵是什么？3. 对称信道的信道传输概率矩阵有什么特点？4. 根据信道的转移特性图，写出信道传输概率矩阵。

信息论与编码知识点分布1.信息：信息论与编码的核心概念就是信息。

信息是一种度量，用来衡量不确定性的消除量。

在信息论中，我们用信息熵来度量不确定性的量，信息熵越大，表示不确定性越高。

2.信息熵：信息熵是信息论中的重要概念，用来度量一个随机事件的不确定性。

信息熵的定义是随机变量的平均不确定性。

信息熵越大，表示事件的不确定性越高。

3.香农编码：香农编码是一种无损数据压缩算法，它通过对频繁出现的符号使用较短的编码，对不频繁出现的符号使用较长的编码，从而实现数据的压缩。

香农编码是一种最优编码，可以达到信息熵的下界。

4.哈夫曼编码：哈夫曼编码也是一种无损数据压缩算法，它通过构建哈夫曼树来实现数据的压缩。

哈夫曼编码是一种树形编码，通过将出现频率高的符号放在较短的编码路径上，出现频率低的符号放在较长的编码路径上，从而实现数据的压缩。

5.信道容量：信道容量是指在给定信道条件下，能够传输的最大有效信息的速率。

信道容量取决于信道的带宽和信道的噪声，可以通过香农公式来计算。

6.信息编码：信息编码是指将信息转换成一串编码的过程。

在信息论与编码中，我们可以使用各种编码技术来实现信息的传输和存储，如香农编码、哈夫曼编码、循环冗余码等。

7.循环冗余码（CRC）：CRC是一种常用的错误检测码，通过添加冗余位来检测数据传输中的错误。

CRC码能够在接收端检测出出现在传输过程中的任何误码。

8.线性分组码：线性分组码是一种常用的错误检测和纠错码，具有良好的性能和编码效率。

线性分组码的编码和解码过程可以用矩阵运算来表示，其性质可以通过线性代数的方法进行研究。

9.噪声模型：在信息论与编码中，我们经常需要考虑信道的噪声对信息传输的影响。

常见的噪声模型有加性高斯白噪声模型、二进制对称信道模型等。

10.噪声信道容量：噪声信道容量是指在给定信道条件下，能够传输的最大有效信息的速率。

噪声信道容量取决于信道的带宽、信道的噪声以及信号的功率等因素。

11.码率：码率是指在通信过程中，单位时间内传输的比特数。

信息论与编码《信息论与编码》复习提纲第1章绪论1、信息的概念，通俗、⼴义、狭义的概念2、信息、消息、信号3、通信系统模型4、通信系统的技术指标，有效性、可靠性第2章信源与信息熵1、信源的分类2、信源的数学模型3、马尔克夫信源4、离散信源的⾃信息、信息熵5、条件熵和联合熵6、互信息及其性质7、条件熵之间的关系，维拉图8、信息熵的性质9、信息熵的计算，各种概率的计算、各种熵的计算（例2-9, p.21）10、连续信源的熵，绝对熵和相对熵11、最⼤熵定理，峰值功率受限、平均功率受限12、离散序列信源的熵，平均符号熵、条件熵、极限熵13、信源冗余度及产⽣的原因第3章信道与信道容量1、信道模型，转移矩阵、2、信道种类：BSC、DMC、离散时间⽆记忆信道、波形信道3、信道容量的定义4、⼏种特殊信道的信道容量、BSC信道C~ε曲线5、离散序列信道及其容量（BSC⼆次扩展信道）6、连续信道及其容量，Shannon公式7、信源与信道的匹配，信道冗余度第4章信息率失真函数1、失真函数、失真矩阵、平均失真2、信息率失真函数，定义、物理意义，保真度准则3、信息率失真函数的性质，信息率失真函数曲线4、信息率失真函数与信道容量的⽐较5、某些特殊情况下R(D) 的表⽰式第5章信源编码1、信源编码的基本概念（主要任务、基本途径）2、码的基本概念、分类3、唯⼀可译码的含义，充要条件4、码树图及即时码的判别5、定长编码定理，编码信息率，编码效率6、变长编码定理（Shannon第⼀定理），编码剩余度，紧致码7、Shannon编码，⾃信息与码长的联系8、Fano编码，与码树图的联系、是否是紧致码9、Huffman编码，计算平均码长、信息传输率、编码效率（例5-7, p.96）10、Shannon第三定理（限失真编码定理）及逆定理11、游程编码，基本原理、特性、主要应⽤12、算术编码，基本思想第6章信道编码1、差错，差错符号，差错⽐特，差错图样类型2、纠错码分类，差错控制系统分类3、随机编码，Shannon第⼆定理（信道编码定理），差错概率、译码规则、平均差错概率4、可靠性函数曲线5、差错控制途径、措施，噪声均化、交错（交织）6、码距与纠、检错能⼒7、最优译码、最⼤似然译码、最⼩汉明距离译码8、线性分组码，基本概念，码重9、⽣成矩阵和校验矩阵，系统形式（例6-2, p.137）10、伴随式与标准阵列译码11、循环码及其特征，⼏种常⽤循环码12、卷积码，基本概念、编码原理、编码器结构、卷积码描述⽅法、Viterbi译码第7章加密编码1、加密编码中的基本概念2、安全性，保密性，真实性3、对称（单密钥）体制与⾮对称（双密钥）体制1.信息论研究的⽬的是提⾼信息系统的___可靠性___，____有效性____，____安全性___，以便达到系统的最优化。