信息论与编码
1. 通信系统模型
信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | |
（加密密钥） 干扰源、窃听者 （解密秘钥）
信源：向通信系统提供消息的人或机器
信宿：接受消息的人或机器
信道：传递消息的通道，也是传送物理信号的设施
干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码：
编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源）
译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式
基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化
信道编码：
编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性
译码器：将落在纠检错范围内的错传码元检出或纠正
基本途径：增大码率或频带，即增大所需的信道容量
2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =-
表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。
条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =-
联合自信息：(,)log ()XY i j XY i j I x y P x y =-
3. 互信息：;(/)
()
(;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y ==
信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。
4. 信息熵：()()log ()i i
i
H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。
条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =-
∑ 联合熵：,()()log ()i j i j i j
H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log
()()
i j i j i j i j p x y I X Y p x y p x p y =∑
表示由知道Y 得到的关于X 的平均信息量。
信源符号集合X ，信宿符号集合Y ，I(X;Y) 表示收到Y 后获得的关于X 的平均信息量，或发X 前后Y 的平均不确定性减少的量，或通信前后整个系统不确定性减少的量。
收发两端的熵关系：
全损离散信道：I(X;Y) = 0，H(X/Y)=H(X) 无扰离散信道：I(X;Y) = H(X)，H(X/Y)=0
6. 数据处理定理：(;)(;),(;)(;)I X Z I X Y I Z X I Z Y ≤≤
消息通过多级处理器时，随着处理器数量增多，输入与输出消息之间的平均互信息量趋于变小；即数据处理过程中只会失掉信息，而不会创造出新的信息（信息不增性）。
7. 离散信源最大熵定理：离散无记忆信源有M 个不同的信息符号，当且仅当各个符号出现概率相等时熵最大。
连续信源的熵为无穷大，公式给出的熵只有相对意义而非绝对值——矛盾的原因是逼近时所取的x 不一致。
限峰功率最大熵定理：对于定义域有限的随机矢量X ，均匀分布时有最大熵。
限平均功率最大熵定理：对于相关矩阵一定的随机矢量X ，正态分布时有最大熵。 为什么通信系统中以高斯白噪声作为设计标准？
1）根据限平均功率最大熵定理，高斯白噪声是平均功率受限时最有害的干扰，以此为标 准是考虑了干扰最恶劣的情况；
2）实际噪声的幅度谱也接近于高斯分布。
8. N 次扩展源平均符号熵：1211()()(...)N N N H X H X H X X X N N
== 信源X 的极限符号熵：()lim ()N N H X H X ∞→∞
= 9. 马尔可夫信源
使马氏链最后稳定且遍历，必须有不可约性和非周期性
不可约性：任意一对i 和j ，都存在至少一个k > 0，使得(k)0ij
P > 非周期性：所有的()0n ii P >，n 中没有比1大的公因子
求解平稳分布：1WP W w ==∑
，
马尔可夫信源的熵：112()(|...)()(/)m m i i
i
H X H X X X X p s H X s ∞+==∑ 10. 冗余度：信源符号间的相关性；信源符号分布的不均匀性。
当信源的符号之间有依赖时，信源输出消息的不确定性减弱，信源熵减小。而信源冗余度能反映信源符号依赖关系的强弱，依赖关系越大，冗余度就越大。
()11()
m H X H X γη∞=-=-
极限熵()H X ∞——去关联，等概化——最大熵0()H X
11. 定长编码：log ()L L K m H X L ε≥+
只要码字所能携带的信息量大于信源序列输出的信息量，就可以使传输几乎无失真 变长编码：()()L L L H X K H X ε
≤≤+ 只有分组码才有码表；分组码 > 非奇异码 > 唯一可译码 > 即时码
定长编码需要的信源序列长，使得码表很大，且通常都存在译码差错
用定长码编码时，即使在编码效率和译码差错要求不十分苛刻的情况下，就要对很长的信源序列一起进行编码，对存储或处理技术的要求太高；用变长码编码时，一起进行编码的信源序列不需要很长就可达到相当高的编码效率，而且可实现无失真编码。
12. 最佳编码思想：考虑信源的统计特性，概率大的符号编短码，概率小的符号编长码，使平均码长最短
香农编码：有唯一、系统的编码方法
费诺编码：更适合于对分组概率相等或接近的信源编码
哈夫曼编码：综合性能最优
把新节点向大概率端压的原因：减小再次被编码的机会，充分利用短码，使码长方差小，减小处理码字时存储器溢出或取空的概率。
13. 编码效率：()L H X K
η= 码的剩余度：1γη=- 码率：R η= 14. 失真函数：(,)i j d u v ，信源发出ui ，而在信宿收到vj 所引起的误差或失真
在适当的失真函数下规定允许失真D ，在该失真条件下有最小信息率R(D)
R(D)能在数据压缩中衡量压缩程度
随着允许失真的增大，传信率可以压缩的程度增大，D 最小时不能压缩，D 最大时不用发送
限失真信源编码定理：R > R(D)
计算max D ，min ()R D ，max ()R D 及对应转移概率
15. 信道容量：()max {(,)}P X C I X Y =
反应信道最大信息传输能力，是信道的特征参数 香农公式：0
log(1)log(1)av P C W W SNR WN =+=+ 受加性高斯白噪声干扰的带限波形信道的容量，是非高斯波形信道容量的下限值。
有扰信道编码定理：R < C
信源与信道的匹配：
一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示信息，这样就可以提高信息的传输率，从而提高信道的利用率。
无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。
15. 差错控制的途径
途径一：从信道编码定理出发
1. 增加信道容量
1）扩展带宽
2）增加功率
3）降噪
2. 减小码率log K q
R N =
1）减小K ，降低信息源速率。
2）增加N ，提高波特率，占用更大带宽
3）减小q ，减小信道的符号集，提高信号间的区分度
3. 增加码长
加大码字间的距离，同时使差错概率符合统计规律。
途径二：利用纠错
1）利用冗余度。可以利用时间，频带，功率，设备复杂度。
2）噪声均化。可以利用增加码长，卷积，交织。
交织的作用：
通过对编码器输出的码流与信道上的符号流作顺序上的变换，将突发噪声的影响分摊到多个码字上，使得对每个码字的影响都在纠检错能力范围内。
增加码长N 的好处：
1. 根据()NE R e P e -<，减小差错概率需要增大N 和E(R)，同时N 增大使码率下降，也就使可靠性函数E(R)增大；
2. 均化噪声，使每个码字中误码元的比例接近统计平均值；
3. 增大码字间空间，可能增加码间距离，从而提高码的纠检错能力。
16. 译码方法与误码率
最佳译码/最大后验概率译码
最大似然译码：输入与输出等概分布时就是最佳译码
最小汉明距离译码：BSC 信道的最大似然译码，发送的码字独立等概则是最佳译码 最小距离min d 与纠检错能力：
1）检l 个错误：min 1d l =+
2）纠t 个错误：min 21d t =+
3）检l 个错误，纠t 个错误：min 1d l t =++
17. 生成矩阵：**()[|]k k k n k G I P -=
监督矩阵：()*(n k)*(n k)[|]T
n k k H P I ---=
极大最小距离码：min =1d n k -+
伴随式：T T S RH EH ==
17. 循环码
码多项式C(x)、生成多项式g(x)、校验多项式h(x)、消息多项式m(x)
C(x) = m(x) * g(x)，g(x) * h(x) = 0 mod (x^n + 1) 生成矩阵：1()...()()()k x g x G x xg x g x -??????=?????? 校验矩阵：**1*()()()...()n k h x xh x H x x
h x --??????=?????? 特点：
1）编码电路与译码电路非常简单，易于实现；
2）代数性质优良，编码译码分析方便。
18. 卷积码与分组码的比较：
分组码将序列切割成分组后孤立地进行编译码，没有考虑分组之间的相关性；而卷积码编码时不仅考虑当前分组还会参考之前的部分分组，故性能优于分组码，但译码复杂。
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
第2章离散信息的度量 本章主要内容 （1）自信息的概念 （2）平均自信息的概念（信源熵的概念） （3）互信息的概念 （4）平均互信息的概念 （5）相对熵的概念 在通信系统中，信源发出的不同消息携带不同的信息量，不同的信源输出信息的能力也不同；同一消息通过载体信号在不同的信道中传输后，接收端获得的信息量不同，不同的信道传递信息的能力也不同。为了衡量一个通信系统质量好坏，必须有一些评价标准。例如误码率、接收信噪比、传信率等。而系统的传信率就是指单位时间内信道所传递的信息量。为了评价系统的传信率，必须对消息或信源所含有的信息有一个数量上的度量方法。这就是我们要研究信息度量的目的。 本章将介绍信息度量的一些基础概念。 2.1自信息 信源发出的消息的形式可以是语言、文字、公式、数据、声音、图像等等。信源发出信息，通过信道传送信息。假如学生上课时，教师在全部时间内仅反复说一句同样的话。显然，从后面教师（信源）发出的同一句话（消息）中，学生（信宿）得不到任何信息。同样的，把“2008年在北京召开了奥运会”这样一则消息告诉大家，那么大家也不会从中获得任何信息。从这些例子我们可以看出，学生要想再课堂上获得信息，必须要从教师那里学到事先不知道的知识。也就是说，对于信宿来说，使其获得解惑的是消息中的未知部分，借助通信，信宿明确了原来不明确的一些事情，获得了一些信息。一则消息包含有多少信息量，通过理想信道传输后信宿就可以获得多少信息量（或说消除了多少不确定性）。
2.1.1 自信息的定义 绪论中我们给出了香农对于信息的定义：信息是客观事物存在方式或运动状态的不确定性的描述。一般地说，信源要发出的消息的状态应该存在着某种程度的不确定性，通过通信，将信息传给了收信者，收信者得到信息之后，消除了不确定性。这里所说的不确定性，也就是随机性，不确定性程度可以直观地看成是猜测某些随机事件是否会发生的难易程度。我们可以用概率统计方法来描述随机事件发生后提供信息的大小。即概率大的事件，出现的可能性大，不确定性小，事件发生后带给我们的信息量就少。反之，小概率事件出现的可能性小，不确定性大，事件发生后带给我们的信息量就多。 定义2.1 随机事件i x 的自信息量定义为 ()log ()=-i r i I x p x （2.1） 由定义可以看出，随机事件所含信息量的多少用消息出现概率的对数的负值来表示。 下面我们借助通信过程的研究来分析自信息量的含义。对应在通信系统中，信源发出消息（符号）i x 的概率为()i p x ，则i x 含有的自信息量即为)(i x I ，正确传输，收信者就可以获得)(i x I 这么多的信息量。而通信过程发生前，信源发出的消息存在某种不确定性，借助通信，信宿明确了原来不明确的一些事情，获得了一些信息。通信过程消除掉的不确定性越多，信宿获得信息量就越大。所以通信系统中，自信息量)(i x I 的含义可以由两方面来理解： （1） 表示信源发出符号i x 前，发出符号i x 的不确定性的大小； （2） 表示信源发出符号i x 后，符号i x 提供的信息量的多少。 由定义我们可以绘制出自信息量的函数曲线如图2.1所示。
《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码
第6章网络信息论 （教学要求：A—熟练掌握；B—掌握；C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段 常规教学与多媒体教学相结合。
信息论与编码 1. 通信系统模型 信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | | （加密密钥） 干扰源、窃听者 （解密秘钥） 信源：向通信系统提供消息的人或机器 信宿：接受消息的人或机器 信道：传递消息的通道，也是传送物理信号的设施 干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码： 编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源） 译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式 基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化 信道编码： 编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性 译码器：将落在纠检错范围内的错传码元检出或纠正 基本途径：增大码率或频带，即增大所需的信道容量 2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =- 表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。 条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =- 联合自信息：(,)log ()XY i j XY i j I x y P x y =- 3. 互信息：;(/) () (;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y == 信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。 4. 信息熵：()()log ()i i i H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。 条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =- ∑ 联合熵：,()()log ()i j i j i j H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log ()() i j i j i j i j p x y I X Y p x y p x p y =∑
《信息论与编码》课程教学大纲、课程基本信息 二、课程内容及基本要求 第一章绪论 课程内容：
1 ?信息论之父--香农；信息论与香农信息论的形成与发展；香农信息论的中心 问题及其局限性； 2．信息、消息、信号、信息的本质、信息的广义性； 3．通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1．了解信息论之父---Shannon（香农）和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2．理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3．熟悉通信系统的基本模型及各模块的主要功能。 本章重点香农信息论的中心问题、通信系统模型 本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章信源、信息量和信息熵 课程内容： 1．无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源； 2．非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息； 3．熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4．数据处理中信息的变化、连续信源熵；5．凸函数、互信息量的凸性，冗余度。 基本要求： 1．了解并掌握信源的分类与特点； 2．理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均
互信息之间的关系； 3．理解马尔可夫信源的概念、理解离散序列信源熵的概念； 4．理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质； 5．理解凸函数的含义和性质；了解凸函数在信息论中的应用。 本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质 本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章信源编码 课程内容： 1．编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2．无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3．限失真信源编码；常用信源编码--- 游程编码、算术编码、预测编码、变换编码。 基本要求： 1．理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用； 2．理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编 码的特点与编码原理； 3．掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费 诺编码原理；掌握哈夫曼编码原理； 4．了解常用限失真信源编码方法—算术编码、游程编码、预测编码及变换编码的编码原理。
（一） 一、填空题 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ； C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ， R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ） 三、计算题
《信息论与编码》课程论文 ——通过信息论对已有知识产生的新认识 马赛 1143031014 《信息论与编码》课程是通信专业的一门基础课。其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。 通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。 在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。下文中，列举了两个问题，同时使用信息论的角度去进行解释。 一、计算机的存储容量与信息量的联系 当今的计算机已经十分普及。存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？ 这是计算机科学的基本知识：“8 bit = 1 byte”。bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？ 在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。 我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。信息的一种解释是：对于不确定性的消除。信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。这是香农信息论对于信息量的定义。 计算机存储的依然是信息，只是信息的存储形式是01二进制数字。如果说计算机中的bit只是二元数字的话，那么这个单位就丧失了“信息”这个定义了。 用户通过互联网下载各种资料，下载的资料需要占用本地的存储空间，这是一个众所周知的例子。其实这个过程就是一个消除不确定性的过程。我们一般常识中的“空”硬盘，实际上是没有存储信息，而空间就在那里，空间中的信息有不确定，有不确定度；写入信息，实际上就是在消除不确定性，让空间中的信息确定，让其有序。这就是一种典型的信息传递过程。 计算机是2元存储结构，一个二进制符号代表1bit，根据实际计算，一个二进制符号的最大信息量即H0(X) = log22 = 1bit，这是一个将符号等同于无记忆的，每个符号之间没有联系，达到了信息量的最大值。这是最为简化的处理结果，也是最为可行的处理结果。如果严格按照信息论的角度去分析，其实每个符号之间是有联系的——各种编码、指令，如果01只是随机出现，那么只是一盘散沙。当然这是严格的理论解释，如果实际应用到存储信息的计量，那么将是不可行，计算机界的先驱是非常有远见的。 二、关于称硬币问题的思考
第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称：
年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22)
实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7
五、编码程序 #include"stdio.h" #include
《信息论与编码》课程小结 《信息论与编码》课程小结信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。 关于信息论的基本理论体系，1948年，香农在贝尔系统技术杂志
上发表“通信的数学理论”。在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。 对信息论的研究内容一般有以下三种理解： (1) 狭义信息论，也称经典信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。 (2) 一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容以美国科学家维纳为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。 (3) 广义信息论。广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题，是新兴的信息科学理论。 信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。现代信息论又是数学概率论下的一个分支，与遍历性理论、大偏差理论以及统计力学等都有密切关系。 关于信息论与编码课程的特点，信息论课程中运用了大量的数学知识。例如：在讨论纠错编码中生成矩阵和一致校验矩阵的关系时，需要用到矩阵的运算和性质；在讨论连续信源熵时，需要对连续信源概率密度进行积分运算；在讨论离散信源熵的最大值或信道容量的最大值时，要计算多元函数的条件极值。此外，信息论与编码中很多定理都伴随着复杂的数学证明，其中最明显的就是香农三定理（无失真信源编码定理、有
信息论与编码复习总结 题型：填空、解答、计算 1、编码：无失真与限失真信源编码定理 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真 三大定理: 无失真信源编码定理（第一极限定理）（可逆） 信道编码定理（第二极限定理） 限失真信源编码定理（第三极限定理）（不可逆） Shannon(香农)信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论。通信系统模型方框图: 信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel）和连续信道（Continuous Channel）、单用户信道和多用户信道等。 信源的描述：通过概率空间描述
平稳包含齐次，而齐次不包含平稳（重要，第二章计算题） 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，p j称为平稳分布（如下） 设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为w j=p(s j) 自信息量的特性： p(x i)=1,I(x i)=0; p(x i)=0,I(x i)=∞;非负性；单调递减性；可加性；定义：联合概率空间中任一联合事件的联合（自）信息量为： 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特
信道模型：二进制离散信道BSC；离散无记忆信道DMC；波形信道 信源编码器的目的：是使编码后所需的信息传输率R尽量小。 信源编码：主要任务就是减少冗余，提高编码效率。
信息论与编码知识点分布 注： （1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。 （2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。 第二章 信源与信源熵 1信源的不确定性 2单符号离散信源 （1）单符号离散信源的数学模型 1212,, ,,,(), (), ,(), , ()()i n i n x x x x X p x p x p x p x P X ?? ??? =???????? ? （2）单符号离散信源的信息量（自信息量 、联合信息量、条件信息量及三种信息量的关系） 自信息量： ()log ()i i I x p x =- 条件信息量： 2(/)log (/)i j i j I x y p x y =- 联合信息量： 22()log ()log ()(/)()(/)()(/) i j i j j i j i i j j j i I x y p x y p y p x y I x I x y I y I y x =-=-=+=+ 互信息量： 2 (/)(;)log ()(/)()()()() i j i j i i j i j i j i p x y I x y I x I x y I x I y I x y p x ==-=+- 信源熵： ∑=-===n i i i i i x p x p x p E x I E X H 1 22)(log )(])(1 [log )]([)( 条件熵： ∑∑=== =m j n i j i j i j i y x I y x p y x I E Y X H 1 1 )/()()]/([)/( 联合熵： ∑∑∑∑====-== n i m j n i m j j i j i j i j i y x p y x p y x I y x p XY H 1 1 1 1 2 )(log )()()()( 熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性； 平均互信息量：
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ???? 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ） 三、计算题 某系统（7，4）码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验 位与信息位的关系为：
" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方