第三章信源编码定理与信道编码定理
通信系统的两个基本问题
问题一：数据压缩的理论极限是什么。
问题二：通信传输速率的理论极限是什么。
问题一（理论）：如何度量信源产生信息
无失真信源编码定理
离散无记忆信道
离散无记忆信道容量计算时间离散的无记忆连续信道
为什么要对信源进行编码?
由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。信源编码的主要任务就是减少冗余，提高编码效率。
具体说，就是针对信源输出符号序列的统计特性，
寻找一定的方法把信源输出符号序列变换为最短的码字序列。为什么还要引入有失真编码呢？
感觉无失真编码应该优于有失真编码
编码器可以看作这样一个系统，它的输入端为原始信源U，其符
号集为U:{u
1,u2,…,u q}；而信道所能传输的码符号集为
X:{x1,x2,…,x r}；编码器的功能是用符号集X中的元素，将原始信
源的符号u
i 变换为相应的码字符号W
i
，(i=1,2,…,q)，所以编码器
输出端的符号集为W:{W
1,W2,…,W q}。
码的类型
信源的类型
离散无记忆信源的等长编码
无失真等长编码
中文电报的汉字编码就是一种等长编码。这里N=4,D=10 ，即每个汉字用4位十进制数表示。例如，“西安”编码后就成为4687 16180。此外，0, 1, 2, ... , 9这
10个数字采用如右边的编码方法。
右边的表格中的码字有什么特点？
A频率在［0.19,0.21 ］的序列的概率和
A频率在［0.19,0.21 ］序列的比例
结论
●某些特定的信源序列的出现概率可能高于某个特定“常见”序列的出现概率；
●随着序列长度的增加，常见序列构成的集合的总体概率趋于1 。（弱大数定律）
想法－渐近无失真编码
?如果这些“常见”序列的概率之和接近于1，并且它们的数目相对2L小得多，那么我们就可以只对这些“常见”序列进行编码。其他序列不做考虑。
?随着L 的增加，其它序列几乎不发生。这样，这种编码方法也就几乎没有失真了。
如何用数学工具来描述“常见”序列
第5章_无失真信源编 码题与答案 本页仅作为文档封面，使用时可以删除 This document is for reference only-rar21year.March
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字， 110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3)
3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L
信源编码的基本原理及其应用 课程名称通信原理Ⅱ 专业通信工程 班级******* 学号****** 学生姓名***** 论文成绩 指导教师***** ******
信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵： 香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面： (1)信源的建模 信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理∑=-=L i i i x p x p x H 12) (log )()()(x H
通信原理复习资料 第一章 绪论 1、模拟通信系统模型 模拟通信系统是利用模拟信号来传递信息的通信系统 2、数字通信系统模型 数字通信系统是利用数字信号来传递信息的通信系统 3、数字通信的特点 优点： （1）抗干扰能力强，且噪声不积累 （2）传输差错可控 （3）便于处理、变换、存储 （4）便于将来自不同信源的信号综合到一起传输 （5）易于集成，使通信设备微型化，重量轻 （6）易于加密处理，且保密性好 缺点： （1）需要较大的传输带宽 （2）对同步要求高 4、通信系统的分类 （1）按通信业务分类：电报通信系统、电话通信系统、数据通信系统、图像通信系统 （2）按调制方式分类：基带传输系统和带通（调制）传输系统 （3）按信号特征分类：模拟通信系统和数字通信系统 （4）按传输媒介分类：有线通信系统和无线通信系统 （5）按工作波段分类：长波通信、中波通信、短波通信 （6）按信号复用方式分类：频分复用、时分复用、码分复用 ★★5、通信系统的主要性能指标：有效性和可靠性 有效性：指传输一定信息量时所占用的信道资源（频带宽度和时间间隔）， 是“速度”问题； 模拟通信系统模型 信息源 信源编码 信道译码 信道编码信 道数字调制 加密 数字解调解密 信源译码 受信者 噪声源 数字通信系统模型
可靠性：指接收信息的准确程度，也就是传输的“质量”问题。 （1）模拟通信系统： 有效性：可用有效传输频带来度量。 可靠性：可用接收端解调器输出信噪比来度量。 （2）数字通信系统： 有效性：用传输速率和频带利用率来衡量。 可靠性：常用误码率和误信率表示。 码元传输速率R B ：定义为单位时间（每秒）传送码元的数目，单位为波特（Baud ）； 信息传输速率R b ：定义为单位时间内传递的平均信息量或比特数，单位为比特/秒。 6、通信的目的：传递消息中所包含的信息。 7、通信方式可分为：单工、半双工和全双工通信 ★8、信息量是对信息发生的概率（不确定性）的度量。一个二进制码元含1b 的信息量；一个M 进制码元含有log 2M 比特的信息量。 9、信息源的熵，即每个符号的平均信息量：)x (p log )x (p I i 2n 1 i i ∑=- = 结论：等概率发送时，信息源的熵有最大值。 第二章 信道与噪声 一 确知信号与随机过程 1、确知信号：是指其取值在任何时间都是确定的和可预知的信号，通常可以用数学公式表示它在任何时间的取值。 2、确知信号的类型 （1）按照周期性区分：周期信号和非周期信号 （2）按照能量区分：能量信号和功率信号： 特点：能量信号的功率趋于0，功率信号的能量趋于￥ 3、确知信号在频域中的性质有四种，即频谱、频谱密度、能量谱密度和功率谱密度。 4、确知信号在时域中的特性主要有自相关函数和互相关函数。 ★ 5、自相关函数反映一个信号在不同时间上取值的关联程度。能量信号的自相关函数R （0）等于信号的能量；功率信号的自相关函数R （0）等于信号的平均功率。 6、随机过程是一类随时间作随机变化的过程，它不能用确切的时间函数描述。 ★7、随机过程具有随机变量和时间函数的特点，可以从两个不同却又紧密联系的角度来描述：①随机过程是无穷多个样本函数的集合②随机过程是一族随机变量的集合。 ★8、随机过程的统计特性由其分布函数或概率密度函数描述。 9、高斯过程的概率分布服从正态分布，它的完全统计描述只需要它的数字特征。 ★★10、瑞利分布、莱斯分布、正态分布是通信中常见的三种分布：正弦载波信号加窄带高斯噪声的包络为莱斯分布；当大信噪比时，趋近于正态分布；小信噪比时近似为瑞利分布。 11、窄带随机过程：若随机过程x (t )的谱密度集中在中心频率f c 附近相对窄的频带范围Df 内，即满足Df << f c 的条件，且 f c 远离零频率，则称该x (t )为窄带随机过程。 ★★12、宽平稳随机过程的定义：P ？？. ★★13、各态历经性定义及应用：P ？？ 宽平稳与各态历经性的关系。 二、信道分类： （1）无线信道 － 电磁波（含光波）
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； * (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r ） E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r
(2) 非延长码：A ，C (3) 3125 .16161 5161416131612411213 =?+?+?+?+?+?=?===∑i i i C B A l p L L L 设离散信源的概率空间为 % ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为 100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少 } 解： (1)
5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。 （1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）； （3） 对所有唯一可译码求出其平均码长。 解：（1(2)1,3,6是即时码。 5-2证明若存在一个码长为12,,,q l l l ???的唯一可译码，则一定存在具有相同码长的即时码。 证明：由定理可知若存在一个码长为Lq L L ,,2,1 的唯一可译码，则必定满足kraft 不等式 ∑=-q i l i r 1 ≤1。 由定理44?可知若码长满足kraft 不等式，则一定存在这样码长的即时码。所以若存在码长Lq L L ,,2,1 的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。 5-3设信源1 2 61 26()s s s S p p p P s ??? ?? ??=???? ??? ????，61 1i i p ==∑。将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =???），其对应的码长为（126,,,l l l ???）=（1，1，2，3，2，3），求r 值的最小下限。 解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长 （l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即 1 3232116 1 ≤+++++=------=-∑r r r r r r r i li
所以要满足 12 223 2≤++r r r ，其中 r 是大于或等于1的正整数。 可见，当r=1时，不能满足Kraft 不等式。 当r=2, 18 2 4222>++，不能满足 Kraft 。 当r=3, 127 262729232<=++，满足Kraft 。 所以，求得r 的最大值下限值等于3。 5-4设某城市有805门公务电话和60000门居民电话。作为系统工程师，你需要为这些用户分配电话号码。所有号码均是十进制数，且不考虑电话系统中0、1不可用在号码首位的限制。（提示：用异前缀码概念） （1）如果要求所有公务电话号码为3位长，所有居民电话号码等长，求居民号码长度1L 的最小值； （2）设城市分为A 、B 两个区，其中A 区有9000门电话，B 区有51000门电话。现进一步要求A 区的电话号码比B 区的短1位，试求A 区号码长度2L 的最小值。 解：(a) 805门电话要占用1000个3位数中的805个，即要占用首位为0～ 7的所有数字及以8为首的5个数字。因为要求居民电话号码等长， 以9为首的数字5位长可定义10 000个号码，6位长可定义100 000 个号码。所以min L 16=。 或由Craft 不等 式，有 8051060000101 31?+?≤--L 解得 L 1103 180******** 5488≥--?=-log .， 即 min L 16= (b) 在(a)的基础上，将80为首的数字用于最后5个公务电话，81～86 为首的6位数用于B 区51 000个号码，以9为首的5位数用于A 区9 000 个号码。所以，min L 25=。或 由Draft 不等式，有 80510 900010510001013 122?+?+?≤---+L L () 或 80510 900051000101013 12?++??≤---()L 解得L 210 3 18051090005100 4859≥--?+=-log . 即min L 25= 5-5求概率分布为)152,152,51,51,31(的信源的二元霍夫曼码。讨论此码对于概率分布为 )5 1 ,51,51,51,51(的信源也是最佳二元码。
第七章 信源编码 7-1已知某地天气预报状态分为六种：晴天、多云、阴天、小雨、中雨、大雨。 ① 若六种状态等概出现，求每种消息的平均信息量及等长二进制编码的码长N 。 ② 若六种状态出现的概率为：晴天—；多云—；阴天—；小雨—；中雨—；大雨—。试计算消息的平均信息量，若按Huffman 码进行最佳编码，试求各状态编码及平均码长N 。 解: ①每种状态出现的概率为 6,...,1,6 1 ==i P i 因此消息的平均信息量为 ∑=- ===6 1 22 /58.26log 1 log i i i bit P P I 消息 等长二进制编码的码长N ＝[][]316log 1log 22=+=+L 。 ②各种状态出现的概率如题所给，则消息的平均信息量为 6 2 1 2222221log 0.6log 0.60.22log 0.220.1log 0.10.06log 0.060.013log 0.0130.007log 0.0071.63/i i i I P P bit - == = ------ ≈ ∑消息 Huffman 编码树如下图所示： 由此可以得到各状态编码为：晴—0，多云—10，阴天—110，小雨—1110，中雨—11110， 大雨—11111。 平均码长为： 6 1 10.620.2230.140.0650.01350.0071.68 i i i N n P == =?+?+?+?+?+? =∑— 7-2某一离散无记忆信源（DMS ）由8个字母(1,2,,8)i X i =???组成，设每个字母出现的概率分别为：，，，，，，，。试求： ① Huffman 编码时产生的8个不等长码字； ② 平均二进制编码长度N ； ③ 信源的熵，并与N 比较。 解：①采用冒泡法画出Huffman 编码树如下图所示 可以得到按概率从大到小8个不等长码字依次为： 0100,0101,1110,1111,011,100,00,1087654321========X X X X X X X X
第五章 信源编码（第十讲） （2课时） 主要内容：（1）编码的定义（2）无失真信源编码 重点：定长编码定理、变长编码定理、最佳变长编码。 难点：定长编码定理、哈夫曼编码方法。 作业：5。2，5。4，5。6； 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。 一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各种通信系统的设计和估价具有重大的理论指导意义。 §3.1 编码的定义 编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。 讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。图 3.1是一个信源编码器，它的输入是信源符号},,,{21q s s s S =，同时存在另一符号},,,{21r x x x X =，一般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的一一对应的序列。 输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。可见，编码就是从信源符号到码符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。 码符号的分类： 下图是一个码分类图
题目：基于MATLAB的通信系统仿真 ———信道编码对通信系统性能的影响 专业：通信工程 姓名：崔校通 学号：201300484316 日期: 2016.12.22
目录 一、引言 (2) 二、信道编码理论 (2) 2.1、信道编码的目的 (2) 2.2、信道编码的实质 (3) 2.3、信道编码公式 (3) 三、线性分组码的编译码原理 (3) 3.1、线性分组码的基本概念 (3) 3.2、生成矩阵和校验矩阵 (4) 四、MATLAB仿真 (5) 4.1仿真 (5) 4.1.1原理说明 (5) 4.1.2各子函数说明 (5) 4.2仿真源程序 (5) 4.2.1信道编码 (5) 4.2.2信道解码 (6) 4.2.3交织 (6) 4.2.4解交织 (7) 4.2.5信道衰落 (7) 六程序及仿真图 (8) 1、file1：信道编码对通信系统性能的影响，有无信道编码的影响 (8) 2、file2：在周期性深衰落的信道条件下，交织对通信系统性能的影响 (10) 3、file3：在交织条件下，不同时长的周期性深衰落对系统性能影响的比较 (13)
基于MATLAB的通信系统仿真 ———信道编码对通信系统性能的影响摘要：简述信道编码理论，详细说明分组码的编译原理、实现方法及检错纠错能力，用MATLAB仿真有无信道编码条件下对通信系统性能的影响及信道编码在不同信道下对通信系统性能的影响，如AWGN信道和深衰落信道。 关键词：信道编码、分组码、MATLAB仿真、性能 一、引言 提高信息传输的有效性和可靠性始终是通信技术所追求的目标，而信道编码能够显著的提升信息传输的可靠性。1948年,信息论的奠基人C.E.Shannon在他的开创性论文“通信的数学理论”中,提出了著名的有噪信道编码定理.他指出：对任何信道,只要信息传输速率R不大于信道容量C, 就一定存在这样的编码方法：在采用最大似然译码时,其误码率可以任意小.该定理在理论上给出了对给定信道通过编码所能达到的编码增益的上限,并指出了为达到理论极限应采用的译码方法.在信道编码定理中,香农提出了实现最佳编码的三个基本条件：(1 )采用随机编译码方式; (2 )编码长度Ｌ→∞ , 即分组的码组长度无限; (3)译码采用最佳的最大似然译码算法。 二、信道编码理论 2.1、信道编码的目的 在数字通信系统中由于信道内存在加性噪声及信道传输特性不理想等容易造成码间串扰同时多用户干扰、多径传播和功率限制等也导致错误译码。为了确保系统的误比特率指标通常采用信道编码。信道编码是为了保证信息传输的可靠性、提高传输质量而设计的一种编码。它是在信息码中增加一定数量的多余码元，使码字具有一定的抗干扰能力。
1 、信道编码定理： 对任一信道，一定存在编码方法，可以以任意小的差错率传送速率 小于信道容量的信息。即，基于编码技术的无差错传输条件为：R
列中的对应码元的值可能不同，如果信道中的干扰采用二进制序列 e 表示，相应有错误的位取值为1，无错的位取值为0，可得e=C⊕R。RTCrpUDGiT 7、差错控制的基本方式： <1）反馈重传方式(ARQ>：发送端发送检错码，通过信道传输到接收端，接收端译码器根据编码规则判断是否有错误，并把判决信号通过反馈信道送回发送端。发送端根据判决信号确定是否重新发送，直到接收端检查无误为止。5PCzVD7HxA <2）前向纠错方式 (FEC>：发送端发送能纠正错误的码字，在接收端根据接收到的码字和编码规则，能自动纠正传输中的错误。 jLBHrnAILg <3）信息反馈方式
5.1 设信源12 34567()0.20.190.180.170.150.10.01X x x x x x x x P X ????=???????? (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= 0.0 --- 0.000000 2) 0.2*2 = 0.4 0 0.4*2 = 0.8 0 0.8*2 = 1.6 1 3) 0.39 * 2 = 0.78 0 0.78 * 2 = 1.56 1 0.56 * 2 = 1.12 1 4) 0.99 * 2 = 1.98 1 0.98 * 2 = 1.96 1 0.96 * 2 = 1.92 1 0.92 * 2 = 1.84 1 0.84 * 2 = 1.68 1 0.68 * 2 = 1.36 1 0.36 * 2 = 0.72 0 (3) % 1.8314.3609.2)()(14 .301 .071.0415.0317.0318.0319.032.03)(=====?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η
5.2 对信源??????=????? ?01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。 % 2.9574.2609.2)()(74 .2=====K X H R X H i η 5.3 对信源??????=????? ?01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： % 9.9572.2609.2)()(72 .2=====K X H R X H i η
5.1 设信源? ?????=??????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= %1.8314.3609 .2)()(14 .301 .071.0415.0317.0318.0319.032.03)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.2 对信源? ?????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。 解：
%2.9574.2609 .2)()(74 .201 .041.0415.0317.0218.0319.032.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.3 对信源??????=??????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： %9.9572.2609 .2)()(72 .201 .041.0415.0317.0318.0319.022.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 三进制哈夫曼码：
5.1 有一信源，它有6个可能的输出，其概率分布如题 5.1表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3) 3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L
5.7 设离散信源的概率空间为 ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 5.8 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？ 解： (1) 码字中有0个“1”，码字的个数：10 100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003 100=C 18 35.17166751log log 166751 161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q r C C C C q i
第6章信道编码 教学内容： 信道编码的概念、信道编码定理、线性分组码、循环码 6.1信道编码的概念 教学内容： 1、信道编码的意义 2、信道编码的分类 3、信道编码的基本原理 4、检错和纠错能力 1、信道编码的意义 由于实际信道存在噪声和干扰，使发送的码字与信道传输后所接收的码字之间存在差异，称这种差异为差错。信道编码的目的是为了改善通信系统的传输质量。
基本思路是根据一定的规律在待发送的信息码中加入一些多余的码元，以保证传输过程的可靠性。信道编码的任务就是构造出以最小冗余度代价换取最大抗干扰性能的“好码”。 2、信道编码的分类 纠错编码的目的是引入冗余度，即在传输的信息码元后增加一些多余的码元（称为校验元，也叫监督元），以使受损或出错的信息仍能在接收端恢复。
一般来说，针对随机错误的编码方法与设备比较简单，成本较低，而效果较显著；而纠正突发错误的编码方法和设备较复杂，成本较高，效果不如前者显著。因此，要根据错误的性质设计编码方案和选择差错控制的方式。 3、信道编码的基本原理 可见，用纠（检）错控制差错的方法来提高通信系统的可靠性是以牺牲有效性的代价来换取的。在通信系统中，差错控制方式一般可以分为检错重发、前向纠错、混合纠错检错和信息反馈等四种类型。 香农理论为通信差错控制奠定了理论基础。 香农的信道编码定理指出：对于一个给定的有干扰信道，如信道容量为C，只要发送端以低于C的速率R发送信息(R为编码器输入的二元码元速率)，则一定存在一种编码方法，使编码错误概率p随着码长n的增加，按指数下降到任意小的值。这就是说，可以通过编码使通信过程实际上不发生错误，或者使错误控制在允许的数值之下。 4、检错和纠错能力举例：A、B两个消息 a、没有检错和纠错能力：0、1 b、检出一位错码的能力：00、11 c、判决传输有错：000、111（大数法则） 一般来说，引入监督码元越多，码的检错、纠错能力越强，但信道的传输效率下降也越多。人们研究的目标是寻找一种编码方法使所加的监督码元最少，而检错、纠错能力又高且又便于实现。 6.2信道编码定理 教学内容： 1、译码规则及错误概率 2、信道编码定理
信道编码基础知识培训讲义 信道编码，也叫差错控制编码，是所有现代通信系统的基石。几十年来，信道编码技术不断逼近香农极限，波澜壮阔般推动着人类通信迈过一个又一个顶峰。5G到来，我们还能突破自我，再创通信奇迹吗？ 所谓信道编码，就是在发送端对原数据添加冗余信息，这些冗余信息是和原数据相关的，再在接收端根据这种相关性来检测和纠正传输过程产生的差错。这些加入的冗余信息就是纠错码，用它来对抗传输过程的干扰。
1948年，现代信息论的奠基人香农发表了《通信的数学理论》，标志着信息与编码理论这一学科的创立。根据香农定理，要想在一个带宽确定而存在噪声的信道里可靠地传送信号，无非有两种途径：加大信噪比或在信号编码中加入附加的纠错码。这就像在嘈杂的酒吧里，酒喝完了，你还想来一打，要想让服务员听到，你就得提高嗓门（信噪比），反复吆喝（附加的冗余信号）。 但是，香农虽然指出了可以通过差错控制码在信息传输速率不大于信道容量的前提下实现可靠通信，但却没有给出具体实现差错控制编码的方法。人类在信道编码上的第一次突破发生在1949年。R.Hamming和M.Golay提出了第一个实用的差错控制编码方案。受雇于贝尔实验室的数学家R.Hamming将输入数据每4个比特分为一组，然后通过计算这些信息比特的线性组合来得到3个校验比特，然后将得到的7个比特送入计算机。计算机按照一定的原则读取这些码字，通过采用一定的算法，不仅能够检测到是否有错误发生，同时还可以找到发生单个比特错误的比特的位置，该码可以纠正7个比特中所发生的单个比特错误。这个编码方法就是分组码的基本思想，Hamming提出的编码方案后来被命名为汉明码。汉明码的编码效率比较低，它每4个比特编码就需要3个比特的冗余校验比特。另外，在一个码组中只能纠正单个的比特错误。M.Golay先生研究了汉明码的缺点，提出了Golay 码。Golay码分为二元Golay码和三元Golay码，前者将信息比特每12个分为一组，编码生成11个冗余校验比特，相应的译码算法可以纠正3个错误；后者的操作对象是三元而非二元数字，三元Golay码将每6个三元符号分为一组，编码生成5个冗余校验三元符号，这样由11个三元符号组成的三元Golay码码字可以纠正2个错误。Golay码曾应用于NASA的旅行者1号(Voyager 1)，将成百张木星和土星的彩色照片带回地球。在接下来的10年里，无线通信性能简直是跳跃式的发展，这主要归功于卷积码的发明。卷积码是Elias在1955年提出的。卷积码与分组码的不同在于：它充分利用了各个信息块之间的相关性。通常卷积码记为(n,k,N)码。卷积码的编码过程是连续进行的，依次连续将每k个信息元输入编码器，得到n个码元，得到的码元中的检验元不仅与本码的信息元有关，还与以前时刻输入到编码器的信息元(反映在编码寄存器的内容上)有关。同样，在卷积码的译码过程中，不仅要从本码中提取译码信息，还要充分利用以前和以后时刻收到的码组。从这些码组中提取译码相关信息,，而且译码也是可以连续进行的，这样可以保证卷积码的译码延时相对比较小。通常，在系统条件相同的条件下，在达到相同译码性能时，卷积码的信息块长度和码字长度都要比分组码的信息块长度和码字长度小，相应译码复杂性也小一些。很明显，在不到10年的时间里，通信编码技术的发展是飞跃式的，直到遇到了瓶颈。根据香农前辈的指示，要提高信号编码效率达到信道容量，就要使编码的分段尽可能加长而且使信息的编码尽可能随机。但是，这带来的困难是计算机科学里经常碰到的“计算复杂性”问题。还好，这个世界有一个神奇的摩尔定律。得益于摩尔定律，编码技术在一定程度上解决了计算复杂性和功耗问题。而随着摩尔
§3.3信源编码定理 由于信源具有渐进等分割性这一很有意义的性质，这使得它在数据压缩及图像压缩中发挥了巨大作用，下面我们引入信源编码定理。 设u = {u 1,u 2,u 3…u n }是服从分布p(u)的无记忆信源产生的n 长序列，我们总是希望找到一种有效的编码方法来描述这些序列，使得编码以后码子数长尽可能少，但又要使从码字复原原序列的错误概率尽可能小。 一个行之有效的方法是将║χ║n 个序列序列分成典型序列与非典型序列两部分，对u ∈)(n W ε的每一个序列u 赋予一个编号，称每个编号为一个码字，码字集合I = ｛1，2，…，M ｝，M = ║)(n W ε║，对于那些序列u ∈)(n W ε，统一编号为字母α，这样，在从编码后的码字复制原序列时，如果收到码字是i ∈I,则可唯一的复原成某个u ∈)(n W ε，否则如果收到的 是α，则原序列无法正确复制。我们记这种编码的码率为M n log 1 (bit)，其误差概率为e P = p{u ∈)(n W ε}。 为了给出信源编码正定理，我们作以下预备。 设N 长信源序列集合为S ，典型序列集合为)(n W ε，则 1 = ∑∈s u u p )(≥ ∑ ∈ W u p n u ) ()(ε≥ ∑∈ +-W n u U H n ) (2 ] )([ε ε =║)(n W ε║.2 ] )([ε+-U H n ， 从而 ║)(n W ε║≤2] )([ε+-U H n 。 又因为 1-δ< p(u)≤║)(n W ε║.max )() (u p W n u ε ∈ ≤║) (n W ε ║.2 ] )([ε--U H n 故有 ║)(n W ε║≥()2] )([1εδ--?-U H n 这样就有 ()2] )([1εδ--?-U H n ≤║) (n W ε ║≤2] )([ε+U H n 。 于是其码率满足()ε-1log 1n +()U H -ε≤ ) (log 1n W n ε ≤()ε+U H 误差概率为 }{ εε <∈=) (n e W u P P 令0→ε，当∞→n 时，码率接近()U H 而0→e P 。 这就是我们所说的信源编码正定理。 相反的，如果我们用少于()U H 比特的码率对信源序列进行压缩编码可否？答案是否。我们可以证明，如果码率小于()δ-U H ，其中δ 0>δ不随∞→n 而改变，则当+∞→n 时，
5.1 设信源? ?????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= %1.8314.3609 .2)()(14 .301 .071.0415.0317.0318.0319.032.03)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.2 对信源? ?????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。
%2.9574.2609 .2)()(74 .201 .041.0415.0317.0218.0319.032.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.3 对信源??????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： 二进制哈夫曼码： %9.9572.2609 .2)()(72 .201 .041.0415.0317.0318.0319.022.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 三进制哈夫曼码：