信息论与编码复习56

“信息论与编码”复习1．消息、信号、信息的含义、定义及区别。

信息是指各个事物运动的状态及状态变化的方式。

消息是指包含信息的语言，文字和图像等。

信号是消息的物理体现。

消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。

同样，同一类型信号或消息也可以代表不同内容的信息2．信息的特征与分类。

1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；4信息是可以量度的，信息量有多少的差别。

31948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。

4．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。

信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。

信宿需要研究的问题是能收到或提取多少信息。

信道的问题主要是它能够传送多少信息，即信道容量的多少。

5．通信的目的？要解决的最基本问题？通信有效性的概念。

提高通信有效性的最根本途径？通信可靠性的概念。

提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通信系统的性能指标主要是有效性，可靠性，安全性和经济性。

通信系统优化就是使这些指标达到最佳。

从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。

提高通信有效性的最根本途径是信源编码。

减少冗余。

提高可靠性：信道编码。

增加冗余。

提高安全性：加密编码。

6．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。

《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r （S））。

5、当R=C或（信道剩余度为0）时，信源与信道达到匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。

9、在下面空格中选择填入数学符号“”或“"（1）当X和Y相互独立时，H（XY)=H(X）+H（X/Y）=H（Y)+H（X）。

（2)（3）假设信道输入用X表示，信道输出用Y表示.在无噪有损信道中，H(X/Y)〉 0, H（Y/X)=0,I(X；Y）<H(X)。

二、若连续信源输出的幅度被限定在【2，6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少.=2bit/自由度该信源的绝对熵为无穷大.三、已知信源(1）用霍夫曼编码法编成二进制变长码;（6分)（2）计算平均码长;（4分）（3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5)计算编码效率。

(2分）(1)编码结果为：（2）（3）（4）其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。

如果符号的码元宽度为0。

5。

计算:（1）信息传输速率。

（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。

试计算正确传输这些数据最少需要的发送功率P。

解：（1）（2）五、一个一阶马尔可夫信源，转移概率为.（1) 画出状态转移图。

1、通信系统模型的组成，及各部分的功能。

答：信源，产生消息的源，消息可以是文字，语言，图像。

可以离散，可以连续。

随机发生。

编码器，信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性。

信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性。

调制器：将信道编码输出变成适合信道传输的方式信道，信号从发端传到收端的介质干扰源，系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声译码器，编码器的逆变换信宿，信息的接收者2、消息，信号，信息三者之间的关系答：关系：信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。

信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延。

3、信源的分类答：分类：单消息（符号）信源：离散信源；连续变量信源。

平稳信源。

无/有记忆信源。

马尔可夫信源。

随机波形信源。

离散信源：信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。

可以用一维离散型随机变量X来描述这个信源输出的消息。

这个随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集。

连续变量信源：数据取值是连续的，但又是随机的。

可用一维的连续型随机变量X来描述这些消息。

这种信源称为连续信源，其数学模型是连续型的概率空间：4、自信息的含义：当事件ai发生以前，表示事件ai发生的不确定性，当事件ai发生以后表示事件ai所含有（所提供）的信息量。

5、互信息含义：信源发送消息ai,而由于干扰，在接收端收到的为消息bj ，此时获得的信息量——互信息，即最初的不确定性减去尚存在的不确定性。

6、离散单符号信源熵的物理含义：熵是随机变量的随机性的描述。

熵是信源输出消息前随机变量平均不确定性的描述。

信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量。

1第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。

2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=-log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。

3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。

三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P相等时信息熵最大H (X )=log 2 n 。

3)连续信源的最大熵:定义域内的极值. 5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。

一、+填空题20二、简答题16三、判断题10四、计算题54信息论与编码考试复习大纲第一章1. 通信系统的物理模型。

2. 根据信息论的各种编码定理和通信系统指标，编码问题可分解为3类，分别是：信源编码，信道编码，和加密编码。

3. 简述信息的四个主要特征。

P34. 简述一个通信系统包括的各主要功能模块及其作用。

（信源、信道、干扰源、密钥源）第二章1. 信源的分类：无记忆信源（单个符号的无记忆信源和符号序列的无记忆信源）和有记忆信源（符号序列的有记忆信源和符号序列的马尔科夫信源）。

2. 自信息量的计算公式，注意单位。

3. 离散信源熵计算公式，例2-5；特别是联合熵和条件熵和下面的互信量的计算。

4. 互信息的计算三种表达式，以及与概率分布和条件概率之间的关系。

5. 疑义度和噪声熵的概念。

6. 熵的性质：非负性，对称性，确定性，香农辅助定理，最大熵定理。

7. 离散无记忆信源的序列熵：当信源无记忆且满足平稳性时，平均每个符号熵为？8. 连续信源的最大熵定理：限峰功率最大熵定理（满足？分布，分布函数是？）和限平均功率最大熵定理（满足？分布，分布函数？），其值是多少？P379. 冗余度的计算。

第三章1. 信息传输率和信息传输速率公式和物理意义。

R=I(X;Y)2. 信道容量的计算公式，特别是无干扰离散信道，及物理意义。

C=maxI(X;Y)3. 对称DMC信道和准对称DMC信道的信道容量计算；二进制均匀信道的数学表达式，及信道容量C与信道转移概率p的曲线图。

C=logm-H(Y|ai)4. 限时限频限功率的加性高斯白噪声信道的信道容量计算（香农公式）。

第四章1. 信息率失真函数的计算。

2. 信息率失真函数的性质，特别是定义域的计算。

第五章1. 定长编码定理的内容。

2. 变长编码定理，包括单个符号变长编码定理和离散平稳无记忆序列变长编码定理的内容。

3. 最佳变长编码：香农编码方法，费诺编码方法和哈夫曼编码方法。

4. 限失真信源编码定理：游程编码和算术编码。

《信息论与编码技术》复习提纲复习题《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。

信息论与编码复习总结题型：填空、解答、计算1、编码：无失真与限失真信源编码定理编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真三大定理:无失真信源编码定理（第一极限定理）（可逆）信道编码定理（第二极限定理）限失真信源编码定理（第三极限定理）（不可逆）Shannon(香农)信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论。

通信系统模型方框图:信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。

也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel）和连续信道（Continuous Channel）、单用户信道和多用户信道等。

信源的描述：通过概率空间描述平稳包含齐次，而齐次不包含平稳（重要，第二章计算题）定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，p j称为平稳分布（如下）设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为w j=p(s j)自信息量的特性：p(x i)=1,I(x i)=0; p(x i)=0,I(x i)=∞;非负性；单调递减性；可加性；定义：联合概率空间中任一联合事件的联合（自）信息量为：定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特信道模型：二进制离散信道BSC；离散无记忆信道DMC；波形信道信源编码器的目的：是使编码后所需的信息传输率R尽量小。

信源编码：主要任务就是减少冗余，提高编码效率。

唯一可译码：（任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码）{0,10,11}为唯一可译码，任意有限长码序列：100111000。

（分类）即时码和非即时码变长编码定理：（解答，重要）???1、平均码长：2、根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码，使得编码后平均码长降低，从而提高编码效率。

“信息论与编码”总复习*****************************************************************************简要***************************************************************************** 第二章 信源与信息熵1．每次只发出一个符号代表一个消息的信源叫做发出单个符号的无记忆信源。

2．由一系列符号组成，这种用每次发出1组含2个以上符号序列来代表一个信息的信源叫做发出符号序列的信源。

3．信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。

4．当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。

若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。

5．例题：稳态分布概率|稳定后的符号概率分布：符号条件概率矩阵：1/22/33/44/5⎡⎤⎢⎥⎢⎥-⎢⎥⎢⎥⎣⎦j i 1/21/3[p(s |s )]=1/41/5状态转移概率矩阵1/20001/32/33/40004/5⎡⎤⎢⎥⎢⎥---⎢⎥⎢⎥⎣⎦j i 1/20[p(s |s )]=1/41/50令各稳态分布概率为W1,W2,W3,W4：1131124W W W =+ 2131324W W W =+ 3241135W W W =+ 4242435W W W =+ 12341W W W W +++= 得稳态分布的概率：W1=3/35 W2=6/35 W3=6/35 W4=4/7稳定后的符号概率分布：11131616149()(|)()2353354355735i i i p a p a s p s ==⨯+⨯+⨯+⨯=∑ 221326364426()(|)()2353354355735i i ip a p a s p s ==⨯+⨯+⨯+⨯=∑6．定义具有概率为()i p x 的符号i x 的自信息量为：()log ()i i I x p x =-7．自信息量具有下列特性：（1）()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加性8．信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。

填空1.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

2.信息的 可度量性 是建立信息论的基础。

3.统计度量 是信息度量最常用的方法。

4.熵 是香农信息论最基本最重要的概念。

5.事物的不确定度是用时间统计发生 概率的对数 来描述的。

6.单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

7.一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

8.自信息量的单位一般有 比特、奈特和哈特 。

9.必然事件的自信息是 0 。

10.不可能事件的自信息量是 ∞ 。

11.两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

12.数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

13. 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

14. 离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

15. 对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

16. 一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。

17.平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。

18.对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。

19.对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。

20.若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

21.若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。

22.同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。

信息论与编码期末复习（基本上涵盖了所有考点，有了这份资料，期末绝不会挂科）1填空题1、信息论研究的主要问题是如何提高信息传输系的性和性，对应这两个性能数字通讯系统量化指标分别为和。

2、若给定离散概率空间[X,p(x)]表示的信源，则该信源中的信源消息（事件）x的自信息量可表I(x)= ；该信源平均自信息量（即信源的熵）可表示为H(X)=E[I(x)]= 。

3、在离散联合概率空间[XY,P(xy)] 上随机变量I(xy) 的数学期望H（XY）= ，若集合X与集合Y相互独立，则H（XY）= 。

4、若给定离散联合概率空间[XY,P(xy)]，则x与y之间的互信息量I(x;y)= ；平均互信息量可用熵和条件熵表示即I(X;Y)= = ，其中条件熵H(X|Y)通常称为熵，条件熵H(Y|X) 称为____________熵；若集合X与集合Y相互独立，则H(X|Y) = ，H(Y|X) = ，平均互信息量I(X;Y)= 。

5、离散信源的冗余度是R表示信源消息的可压缩____________，设信源符号集的最大熵为Ho，实际熵为Ｈ∞，则冗余度Ｒ可表示为______________；信源编码目的就是通过减少或消除信源____________来提高信息传输效率，因此信源编码亦称__________性编码，而信道编码则称__________性编码。

6、对于连续随机变量，在峰值功率受限于P m的条件下，取得最大相对熵的最佳概率密度函数是一个恒值即W opt(x)=_________,称W(x)为__________分布，这时最大相对熵H cmax=__________。

7、对于平均功率受限，均值不为零的一维连续随机变量的方差为定值时，其取得最大相熵的最佳概率密度函数为正态分布，即Wopt(x)= _________ ，最大相对熵H cmax=__________。

8、假设任一随机变量X与一正态分布随机变量具有相同的相对熵Ｈｃ，则其等效正态分布的随机变量Ｘ的熵功率为Ｐ＝；可以用信号平均功率和熵功率的相对差值_________来表示连续信源的冗余度。