信道编码发展概述 摘要:信道编码为了与信道的统计特性相匹配，并区分通路和提高通信的可靠性，而在信源编码的基础上，按一定规律加入一些新的监督码元，以实现纠错的编码。本文主要介绍几种主要的信道编码和译码原理和它们实现方法和性能和各种编码的优缺点，并介绍其在现代通信技术中的应用如WCDMA和3G通信技术。 关键词:分组码; 卷积码; 级联码; Turbo码；通信技术； 中图分类号:TP91811 Development of Channel Codes Abstract: Channel coding in order to match the statistic properties of channel, and to distinguish the pathway and improve the reliability of communication, and on the basis of the source code, add some new oversight element according to certain rule, in order to realize the error correction coding. This paper mainly introduces several main channel coding and decoding principle and their implementation methods and properties and the advantages and disadvantages of all kinds of coding, and introduces its application in the modern communication technologies such as WCDMA and 3G communications technology. Key words:block codes; convolution code; concatenation codesturbo code; communication technology; 0引言 一个完整的通信系统，在从信源至接收的全过程中，对信号进行的编码包括信源编码、信道编码以及加密与解密，其中信源编码与信道编码是对信号进行处理的重要步骤，而加密与解密则主要用于接收系统中。 信道编码又称为纠错编码，是指将信号进行编码处理，以使编码后的传送码流与信道传输特性相匹配，其根本目的是为了提高信息传输的可靠性，即提高系统的抗干扰能力。信道编码是数字通信区别于模拟通信的显著标志，其主要实现方法是通过增大码率或频带，即增大所需的信道容量。这一点恰好与信源编码为适应存储及信道传输要求而进行压缩码率或频带而相反。信道编码在当今的通信系统中有这至关重要的地位，TD-SCDMA中主要采用了卷积码和CRC检错码，而Turbo码在WCDMA的差错控制技术中和4G通信中起着至关重要的作用。 1分组码 将信源的信息序列按照独立的分组进行处理和编码，称为分组码。编码时将每k个信息位分为一组进行独立处理，变换成长度为n（n>k）的二进制码组。 简单实用编码包括奇偶监督码、二维奇偶监督码、恒比码、正反码，其中奇偶监督码和分组码又同属于代数码。分组码一般用符号（n，k）表示，其中n是码组的总位数，又成为码组的长度（码长），k是码组中信息码元的数目，– n k r 为码组中的监督码元数目。在分组码中，把码组中“1”的个数目称为码组的重量，简称码重。把两个码组中对应位上数字不同的位数称为码组的距离，简称码距又称海明距离。分组码线性是指码组中码元的约束关系是线性的, 而分组则是对编码而言。他可以用近似代数理论中有限维有限域的矩阵来描述。线性分组码实际上是利用线性空间的扩展, 即由原来的k维扩展到n 维, 利用被扩展的(n - k ) 维来发现、纠正信道传输中的差错。 1.1 循环码 循环码是一种无权码，每位代码无固定权值，任何相邻的两个码组中，仅有一位代码不同。而纠错码的译码是该编码能否得到实际应用的关键所在。译码器往往比编码较难实现，对于纠错能力强的纠错码更复杂。根据不同的纠错或检错目的，循环码译码器可分为用于纠错目的和用于检错目的的循
《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码
第6章网络信息论 （教学要求：A—熟练掌握；B—掌握；C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段 常规教学与多媒体教学相结合。
信息论与编码 1. 通信系统模型 信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | | （加密密钥） 干扰源、窃听者 （解密秘钥） 信源：向通信系统提供消息的人或机器 信宿：接受消息的人或机器 信道：传递消息的通道，也是传送物理信号的设施 干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码： 编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源） 译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式 基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化 信道编码： 编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性 译码器：将落在纠检错范围内的错传码元检出或纠正 基本途径：增大码率或频带，即增大所需的信道容量 2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =- 表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。 条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =- 联合自信息：(,)log ()XY i j XY i j I x y P x y =- 3. 互信息：;(/) () (;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y == 信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。 4. 信息熵：()()log ()i i i H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。 条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =- ∑ 联合熵：,()()log ()i j i j i j H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log ()() i j i j i j i j p x y I X Y p x y p x p y =∑
第六章目标 通过本章学习，学生应该能够： 1．画出GSM突发脉冲序列的结构图并理解每个构成的用途。 2．理解为保护空中接口上语音、数据和控制信道不出错采用的不同措施。
GSM突发脉冲序列（Burst） 对面图示的是一个GSM突发脉冲序列（Burst），它包括以下几个部分： ●信息 即话音，数据或控制信息。 ●保护带 BTS和MS接收信息时都必须在分配给它的时隙这一短暂的时间段内接收和解码突发脉冲序列，所以对于定时精确性的要求极高。采用保护带之后，允许有一小段空白的时间误差，一定程度上降低了定时精确性的要求。准确的说，时隙的长度是 0.577ms，脉冲序列的长度是0.546ms，允许时隙中突发脉冲序 列有0.031ms时间上的误差。 ●偷帧标志 当话务信道突发脉冲序列被FACCH(Fast Associated Control Channel)盗用时,这两个比特将被设臵.只设臵了一个比特表示突发脉冲序列只有一半被盗用。 ●训练序列 供接收均衡器评估BTS和MS之间物理通路的传输质量,训练比特长26比特. ●尾比特 用于指示突发脉冲序列的开始和结束。
GSM 突发脉冲序列和TDMA帧 保护带保护带信息训练序列信息 尾比特 偷帧标志 尾比特常规突发脉冲序列
GSM突发脉冲序列… 突发脉冲序列类型（Burst Types） 对面图示了GSM空中接口用到的五种脉冲序列。所有的脉冲序列，不管是什么类型的，必须在时间上准确定时到给定的时隙。 突发脉冲序列Burst是BTS或MS发送的比特序列，时隙则是一个固定的时间段，脉冲序列必须顺序准确的到达这一时间段，以便接收器能正确接收解码。 ●常规突发脉冲序列（Normal Burst） 常规突发脉冲序列用于业务信道和除以下所说的各种控制信道以外的控制信道。（双向的） ●频率校正突发脉冲序列（Frequency Correction Burst） 该突发脉冲序列用于下行的FCCH，使MS能校正自己振荡器的频率并锁定到BTS的频率。 ●同步突发脉冲序列（Synchronization Burst） 用来用于下行的SCH，使MS同步到BTS。 ●填充突发脉冲序列（Dummy Burst） 当BCCH载频中没有用到的时隙中没有信息可发送时，发送填充突发脉冲序列（仅在下行方向） ●接入突发脉冲序列（Access Burst） 这种突发脉冲序列比其它类型的脉冲序列短很多。因为MS试图接入到系统时还不知道发射定时，所以要增加保护带。MS发送该突发脉冲序列时，BTS并不知道MS的位臵，所以来自MS的消息的定时也无法准确计算（接入突发脉冲序列仅为上行）。
第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n
WCDMA技术的信源编码和信道编码 WCDMA网络是全球商用时间最长，技术成熟、可演进性最好的，全球第一个3G商用网络就是采用WCDMA制式。我国采用了全球广泛应用的WCDMA 3G技术，目前已全面支持HSDPA/HSUPA，网络下载理论最高速率达到14.4Mbps。2G无线宽带的最高下载速度约为150Kbps，我国的WCDMA网络速度几乎是2G网络速度的100倍。支持业务最广泛，基于WCDMA成熟的网络和业务支撑平台，其所能实现的3G业务非常丰富。无线上网卡、手机上网、手机音乐、手机电视、手机搜索、可视电话、即时通讯、手机邮箱、手机报等业务应用可为用户的工作、生活带来更多的便利和美妙享受。终端种类最多，截至2008年底，支持WCDMA商用终端的款式数量超过2000款，全球主要手机厂商都推出了为数众多的WCDMA手机。国内覆盖广泛，截至2009年9月28日，联通3G网络已成功在中国大陆285个地市完成覆盖并正式商用，新覆盖的城镇数量还在不断增长中，联通3G网络和业务已经覆盖了中国绝大部分的人口和地域。开通国家最广，可漫游的国家和地区最多，截至2008年底，全球已有115个国家开通了264个WCDMA网络，占全球3G商用网络的71.3%。截至2009年9月28日，中国联通已与全球215个国家的395个运营商开通了。 WCDMA的优势明显，技术成熟，在WCDMA物理层来看，信源编码和信道编码是WCDMA技术的基础，信源编码是采用语音编码技术，AMR语音编码技术是由基于变速率多模式语音编码技术发展而来，主要原理在于：语音编码器模型由一系列能提供多种编码输出速率与合成质量的声码器构成AMR支持八种速率。鉴于不同信源比特对合成语音质量的影响不同AMR 语音编码器输出的话音比特在传输之前需要按照它们的主观重要性来排序分类，分别采用不同保护程度的信道编码对其进行编码保护。 信源编码AMR模式自适应选择编码器模式以更加智能的方式解决信源和信道编码的速率匹配问题，使得无线资源的配置和利用更加灵活和高效。实际的语音编码速率取决于信道条件，它是信道质量的函数。而这部分工作是解码器根据信道质量的测量参数协助基站来完成，选择编码模式，决定编码速率。原则上在信道质量差时采用低速率编码器，就能分配给信道编码更多的比特冗余位来实现纠错，实现更可靠的差错控制。在信道质量好、误比特率较低时采用高速率编码器，能够提高语音质量。在自适应过程中，基站是主要部分，决定上下行链路采用的速率模式。 信源编码AMR编码器原理，WCDMA系统的AMR声码器共有八种编码模式，它们的输出比特速率不同。为了降低成本和复杂度，八种模式都采用代数码本激励线性预测技术，它们编码的语音特征参量和参量提取方法相同，不同的是参量的量化码本和量化比特数。AMR语音编码器根据实现功能大致可分为LPC分析、基音搜索、代数码本搜索三大部分。其中LPC分析完成的主要功能是获得10阶LPC滤波器的-.个系数，并将它们转化为线谱对参数，并对LSF进行量化；基音搜索包括了开环基音分析和闭环基音分析两部分，以获得基音延迟和基音增益这两个参数；代数码本搜索则是为了获得代数码本索引和代数码本增益，还包括了码本增益的量化。
信道编码理论与技术 摘要：本文先阐述了信道编码的基本概念和基本原理，然后介绍了几种主要的信道编 码技术，分析了他们的原理以及它在各个方面的应用和研究，并对各种编码方法的优缺点进行了总结，对信道编码的未来进行了展望。 关键词：信道编码，理论，技术 引言编码理论与技术不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学和经济学等各领域。在编码理论与自动控制、系统工程、人工智能、仿生学、电子计算机等学科互相渗透、互相结合的基础上，形成了一些综合性的新兴学科。尤其是随着数学理论，如小波变换、分形几何理论、数学形态学以及相关学科，如模式识别、人工智能、神经网络、 感知生理心理学等的深入发展，世界范围内的有关专家一直在寻求现有压缩编码的快 速算法，同时，又在不断探索新的科学技术在压缩编码上的应用，因此新颖高效的现 代压缩方法相继产生。 一、信道编码的基本概念 信道编码的目的是为了改善通信系统的传输质量，对于不同类型的信道要设计不同类型的信道编码，才能收到良好效果。从构造方法看，所谓信道编码，其基本思路 是根据一定的规律在待发送的信息码元中加入一些多余的码元，以保证传输过程的可 靠性。信道编码的任务就是构造出以最小冗余度代价换取最大抗干扰性能的“好码”。从不同角度出发，可有不同的分类方法。按照信道特性和设计的码字类型进行划分，信道编码可分为纠独立随机差错码、纠突发差错码和纠混合差错码。按照码组的功 能分，有检错码和纠错码。按照每个码取值来分，可分为二元码与多元码，也称为二进制码与多进制码。目前，传输系统或存储系统大多采用二进制的数字系统，所以一 般提到的纠错码都是指二元码。按照对信息码元处理方法的不同分，有分组码和卷积码。按照监督码元与信息码元之间的关系分，有线性码和非线性码。线性码是指监督码元与信息码元之间的关系是线性关系。否则称为非线性码。按照循环特性分，分 组码又可分为循环码和非循环码。循环码的特点是：若将其全部码字分为若干组，则 每组中任一码字的码元循环移位后仍是这组的码字。非循环码是1个任意码字中码元循环移位后不一定再是这码组中的码字。按照信息码元在编码后是否保持原来的形式不变分，可分为系统码与非系统码。 二、信道编码的基本原理 在被传输的信源序列上附加一些码元，这些多余的码元与信息码元之间以某种确定的 规则相互关联着。接收端根据既定的规则检验信息码元与监督码元之间的这种关系， 如传输过程中发生差错，则信息码元与监督码元之间的这一关系将受到破坏，从而使
在通信原理中把通信信号按调制方式可分为调频、调相和调幅三种。数字传输的常用调制方式主要分为： 正交振幅调制（QAM）：调制效率高，要求传送途径的信噪比高，适合有线电视电缆传输。 键控移相调制（QPSK）：调制效率高，要求传送途径的信噪比低，适合卫星广播。 残留边带调制（VSB）：抗多径传播效应好（即消除重影效果好），适合地面广播。 编码正交频分调制（COFDM）：抗多径传播效应和同频干扰好，适合地面广播和同频网广播。 世广数字卫星广播系统的下行载波的调制技术采用TDM QPSK调制体制。它比编码正交频分多路复用（COFDM）调制技术更适合卫星的大面积覆盖。 摘要：由于数字电视系统采用数字传输，而在传输系统中都使用到了数字调制技术，本文就对ASK、FSK、PSK、QAM等数字调制方法进行详细的介绍。 1934年美国学者李佛西提出脉冲编码调制(PCM)的概念，从此之后通信数字化的时代应该说已经开始了，但是数字通信的高速发展却是20世纪70年代以来的事情。随着时代的发展，用户不再满足于听到声音，而且还要看到图像；通信终端也不局限于单一的电话机，而且还有传真机和计算机等数据终端。现有的传输媒介电缆、微波中继和卫星通信等将更多地采用数字传输。而这些系统都使用到了数字调制技术，本文就数字信号的调制方法作一些详细的介绍。 一数字调制 数字信号的载波调制是信道编码的一部分，我们之所以在信源编码和传输通道之间插入信道编码是因为通道及相应的设备对所要传输的数字信号有一定的限制，未经处理的数字信号源不能适应这些限制。由于传输信道的频带资源总是有限的，因此提高传输效率是通信系统所追求的最重要的指标之一。模拟通信很难控制传输效率，我们最常见到的单边带调幅（SSB）或残留边带调幅（VSB）可以节省近一半的传输频带。由于数字信号只有"0"和"1"两种状态，所以数字调制完全可以理解为像报务员用开关电键控制载波的过程，因此数字信号的调制方式就显得较为单纯。在对传输信道的各个元素进行最充分的利用时可以组合成各种不同的调制方式，并且可以清晰的描述与表达其数学模型。所以常用的数字调制技术有2ASK、4ASK、8ASK、BPSK、QPSK、8PSK、2FSK、4FSK等，频带利用率从1bit/s/Hz～3bit/s/Hz。更有将幅度与相位联合调制的QAM技术，目前数字微波中广泛使用的256QAM的频带利用率可达8bit/s/Hz，八倍于2ASK或BPSK。此外，还有可减小相位跳变的MSK等特殊的调制技术，为某些专门应用环境提供了强大的工具。近年来，四维调制等高维调制技术的研究也得到了迅速发展，并已应用于高速MODEM中，为进一步提高传输效率奠定了基础。总之，数字通信所能够达到的传输效率远远高于模拟通信，调制技术的种类也远远多于模拟通信，大大提高了用户根据实际应用需要选择系统配置的灵活性。 1、基带传输 传输信息有两种方式：基带传输和调制传输。由信源直接生成的信号，无论是模拟信号还是数字信号，都是基带信号，其频率比较低。所谓基带传输就是把信源生成的数字信号直接送入线路进行传输，如音频市话、计算机间的数据传输
实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称：
年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22)
实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7
五、编码程序 #include"stdio.h" #include
多径信道模型及其对调制信号的影响 信息与通信工程学院2013211108班2013210218号姓名 曹明辉 1. 目的 a) 掌握多径衰落信道模型 b) 通过信道估计的数值仿真实验，验证信道对系统的影响 2. 内容 a) 3GPP 中典型应用场景的多径信道模型的时延功率谱； b) 多径信道模型的实现，采用MATLAB 中自带的Rayleighchan/Ricianchan 函数产生; c) 分析信号经过信道前后的功率谱（不同信噪比下） d) 通过数值仿真方法获得调制信号经过多径衰落信道后的解调性能曲线 3. 多径衰落信道模型说明 根据ITU-R M.2135信道模型标准，本次实验我采用的是Rural Macro (RMa)信道。 从上图表中可见，其有两种典型信道模型的参数设置。一种为带有直射路径的莱斯分布信道参数，一种为不带有主信号功率的瑞利分布信道参数的设置。下面，分别对两者进行介绍 。 4. 调制信号经过多径衰落信道的实现说明 我们已经知道，多径信道具有频率选择性，在调制信号经过N 条路径的情况下，信道的输出为() t y = ()()[]t t x t a n n n τ-∑=N 1 ，式中，()()t t a n n τ和表示与第N 条多径分量相关的衰减和传播延迟，延 迟和谁见都表现为时间的函数。 前面已经说过，由于大量散射分量导致接收机输入信号的复包络是一个复高斯过程，在该过程均值为零的情况下，幅度满足瑞利分布，如果存在直射路径，幅度则变为莱斯分布。 在调制信号通过多径信道时，由于存在多径扩展和多普勒频移，所以，会在输出端产生多个输出，正如前面公式中所提到的，从而导致接收端的信号之间存在干扰，在此，我们假设，京御景之间是不相关的，每一径的多普勒形状相同，但功率不同。 利用上述参数公式，结合所查阅资料，得到如下的信道两个仿真图表。
信息论与编码知识点分布 注： （1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。 （2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。 第二章 信源与信源熵 1信源的不确定性 2单符号离散信源 （1）单符号离散信源的数学模型 1212,, ,,,(), (), ,(), , ()()i n i n x x x x X p x p x p x p x P X ?? ??? =???????? ? （2）单符号离散信源的信息量（自信息量 、联合信息量、条件信息量及三种信息量的关系） 自信息量： ()log ()i i I x p x =- 条件信息量： 2(/)log (/)i j i j I x y p x y =- 联合信息量： 22()log ()log ()(/)()(/)()(/) i j i j j i j i i j j j i I x y p x y p y p x y I x I x y I y I y x =-=-=+=+ 互信息量： 2 (/)(;)log ()(/)()()()() i j i j i i j i j i j i p x y I x y I x I x y I x I y I x y p x ==-=+- 信源熵： ∑=-===n i i i i i x p x p x p E x I E X H 1 22)(log )(])(1 [log )]([)( 条件熵： ∑∑=== =m j n i j i j i j i y x I y x p y x I E Y X H 1 1 )/()()]/([)/( 联合熵： ∑∑∑∑====-== n i m j n i m j j i j i j i j i y x p y x p y x I y x p XY H 1 1 1 1 2 )(log )()()()( 熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性； 平均互信息量：
水声通信系统中的信道编码技术研究 信道编码定理为人们探索信道的最佳编码方案提供了理论依据，但并没有指明如何获得好码。目前，出现了多种信道编码方案，如RS 码、卷积码、级联码等。本文简要介绍了RS 码和卷积码的基本原理，并进行了相应的计算机仿真，并给出了加入了RS 码和卷积码水声通信系统的水池实验数据，结果表明利用信道编码技术能够提高水声通信系统的误码性能。 （一）Reed －Solomon 码 1960 年I.S Reed 和G .Solomond 提出RS 码,又称Reed －Solomon 码，RS 码是一类纠错能力很强的多进制BCH 码。 RS 码是在GF(q)上长度为N=q-1的本原BCH 码。冗余根据可纠正错误确定，通常等于2t 个字符。这样，编码具有k=q-2t-1个信息字符。这种码具有N 个信息字符，可纠正t 个错误。长度为N ，设计距离为=q-k δ的RS 码的生成多项式为： )())()(()(1321-----=δααααx x x x x g (1) 本论文系统中实现的编码器按图1工作。开始编码前，向A0~A13或A0~A11单元写入信息字符（分别对应1个或2个可纠错码）。P0~P15单元记载类构造器算出的校验多项式的系数值。然后校验多项式系数和信息字相乘并相加，如图所示。运算的结果得出校验字符，存入A0（此时，信息字符向左移位）。生成过程继续，直到A15出现信息字高位元素。这样，在编码中，为纠正1个错误，必须进行2次迭代；为纠正2个错误，必须进行4次。 ∑ 图1 RS 码编码器的结构 纠错码的译码问题，一直是编码理论中最感兴趣的课题之一。RS 在短和中的码长下，具有很好的纠错性能，构造容易，故得到广泛应用。 RS 的译码基本上分为3步：第一步是由接收到的R(x)计算出伴随式；第2步由伴随式找出错误图样E(x)；第3步由R(x)- E(x)得到可能发送的码字C(x)。 记q(x)为信息多项式，则发送码字C(x)＝q(x)g(x)，接收到的码字:
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ???? 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ） 三、计算题 某系统（7，4）码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验 位与信息位的关系为：
实验一 关于信源熵的实验 班级：电子131501 姓名：赵英凯 学号：201315020137 时间：2016.5.22
一、实验目的 1. 掌握离散信源熵的原理和计算方法。 2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。 3. 自学图像熵的相关概念，并应用所学知识，使用matlab 求解图像熵。 二、实验原理 1. 离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。 即： I （xi ）= -log2p ( xi) 随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即： 2.二元信源的信息熵 设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：
则该二元信源的信源熵为： H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p) 即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤1 3. MATLAB二维绘图 用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2 >>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…， 6.2 >>y =cos(x )； %计算余弦向量 >>plot(x ,y ) %绘制图形 4. MATLAB求解离散信源熵 求解信息熵过程： 1) 输入一个离散信源，并检查该信源是否是完备集。 2) 去除信源中符号分布概率为零的元素。 3) 根据平均信息量公式，求出离散信源的熵。 5. 图像熵的相关知识 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
信道编码基础知识培训讲义 信道编码，也叫差错控制编码，是所有现代通信系统的基石。几十年来，信道编码技术不断逼近香农极限，波澜壮阔般推动着人类通信迈过一个又一个顶峰。5G到来，我们还能突破自我，再创通信奇迹吗？ 所谓信道编码，就是在发送端对原数据添加冗余信息，这些冗余信息是和原数据相关的，再在接收端根据这种相关性来检测和纠正传输过程产生的差错。这些加入的冗余信息就是纠错码，用它来对抗传输过程的干扰。
1948年，现代信息论的奠基人香农发表了《通信的数学理论》，标志着信息与编码理论这一学科的创立。根据香农定理，要想在一个带宽确定而存在噪声的信道里可靠地传送信号，无非有两种途径：加大信噪比或在信号编码中加入附加的纠错码。这就像在嘈杂的酒吧里，酒喝完了，你还想来一打，要想让服务员听到，你就得提高嗓门（信噪比），反复吆喝（附加的冗余信号）。 但是，香农虽然指出了可以通过差错控制码在信息传输速率不大于信道容量的前提下实现可靠通信，但却没有给出具体实现差错控制编码的方法。人类在信道编码上的第一次突破发生在1949年。R.Hamming和M.Golay提出了第一个实用的差错控制编码方案。受雇于贝尔实验室的数学家R.Hamming将输入数据每4个比特分为一组，然后通过计算这些信息比特的线性组合来得到3个校验比特，然后将得到的7个比特送入计算机。计算机按照一定的原则读取这些码字，通过采用一定的算法，不仅能够检测到是否有错误发生，同时还可以找到发生单个比特错误的比特的位置，该码可以纠正7个比特中所发生的单个比特错误。这个编码方法就是分组码的基本思想，Hamming提出的编码方案后来被命名为汉明码。汉明码的编码效率比较低，它每4个比特编码就需要3个比特的冗余校验比特。另外，在一个码组中只能纠正单个的比特错误。M.Golay先生研究了汉明码的缺点，提出了Golay 码。Golay码分为二元Golay码和三元Golay码，前者将信息比特每12个分为一组，编码生成11个冗余校验比特，相应的译码算法可以纠正3个错误；后者的操作对象是三元而非二元数字，三元Golay码将每6个三元符号分为一组，编码生成5个冗余校验三元符号，这样由11个三元符号组成的三元Golay码码字可以纠正2个错误。Golay码曾应用于NASA的旅行者1号(Voyager 1)，将成百张木星和土星的彩色照片带回地球。在接下来的10年里，无线通信性能简直是跳跃式的发展，这主要归功于卷积码的发明。卷积码是Elias在1955年提出的。卷积码与分组码的不同在于：它充分利用了各个信息块之间的相关性。通常卷积码记为(n,k,N)码。卷积码的编码过程是连续进行的，依次连续将每k个信息元输入编码器，得到n个码元，得到的码元中的检验元不仅与本码的信息元有关，还与以前时刻输入到编码器的信息元(反映在编码寄存器的内容上)有关。同样，在卷积码的译码过程中，不仅要从本码中提取译码信息，还要充分利用以前和以后时刻收到的码组。从这些码组中提取译码相关信息,，而且译码也是可以连续进行的，这样可以保证卷积码的译码延时相对比较小。通常，在系统条件相同的条件下，在达到相同译码性能时，卷积码的信息块长度和码字长度都要比分组码的信息块长度和码字长度小，相应译码复杂性也小一些。很明显，在不到10年的时间里，通信编码技术的发展是飞跃式的，直到遇到了瓶颈。根据香农前辈的指示，要提高信号编码效率达到信道容量，就要使编码的分段尽可能加长而且使信息的编码尽可能随机。但是，这带来的困难是计算机科学里经常碰到的“计算复杂性”问题。还好，这个世界有一个神奇的摩尔定律。得益于摩尔定律，编码技术在一定程度上解决了计算复杂性和功耗问题。而随着摩尔
信息论与编码复习总结 题型：填空、解答、计算 1、编码：无失真与限失真信源编码定理 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真 三大定理: 无失真信源编码定理（第一极限定理）（可逆） 信道编码定理（第二极限定理） 限失真信源编码定理（第三极限定理）（不可逆） Shannon(香农)信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论。通信系统模型方框图: 信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel）和连续信道（Continuous Channel）、单用户信道和多用户信道等。 信源的描述：通过概率空间描述
平稳包含齐次，而齐次不包含平稳（重要，第二章计算题） 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，p j称为平稳分布（如下） 设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为w j=p(s j) 自信息量的特性： p(x i)=1,I(x i)=0; p(x i)=0,I(x i)=∞;非负性；单调递减性；可加性；定义：联合概率空间中任一联合事件的联合（自）信息量为： 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特
信道模型：二进制离散信道BSC；离散无记忆信道DMC；波形信道 信源编码器的目的：是使编码后所需的信息传输率R尽量小。 信源编码：主要任务就是减少冗余，提高编码效率。
为了提高信息在无线信道传输时的可靠性，提高数据在信道上的抗干扰能 力，TD一SCDMA系统采用了三种信道编码方案:卷积编码、Turb。编码和不编 码。不同类型的传输信道所使用的编码方案和编码率见表2.3。 编码后的比特数H和编码前的比特数I的关系可以表示为: (l)编码率为1/2的卷积码:H=21+l6; (2)编码率为1/3的卷积码:H=3卜24; (3)编码率为1/3的Turbo码:H=31+12; (4)不编码:H=I; 在数字通信中，信道编码是为了降低误码率、提高数字通信的可靠性而采取 的编码。信道编码对改善传输质量起着至关重要的作用。为了提高信息、在无线信 道传输的可靠性，TD一SCDMA系统主要采用了不编码、卷积编码和Turbo编码 三种信道编码方案。 卷积码是一种非分组码，通常它更适用于前向纠错法，因为其性能对于许多 实际情况常优于分组码，而且设备简单。这种卷积码在它的信息码元中也有插入 的监督码元，但并不实行分组监督，每一个监督码元都要对前后的信息单元起监 督作用，整个编解码过程是一环扣一环，连锁地进行下去。 Tubro码可以是串行或并行级联码，一般用的并行式编码器。串行式编码器 由外码、交织和内码串接而成，并行式编码器则由几个分量编码器、交织、打孔 复接构成，各分量编码器可以不同，也可以相同;可以用分组码，也可以用卷积 码，甚至级联码。分组码适用于编码率高的情况，卷积码则相反。译码器包括两 个软输入输出译码器、交织器和去交织器，构成第二级译码器的软输出反馈到第 一级输入，以改善判决，在迭代到一定次数后，经过硬判决获得结果。在卷积码 的情况，译码器采用软输入软输出Viterhi算法。最常用的是逐个符号最大后验 概率译码器。误码率性能与迭代次数有关，迭代过程一般是收敛的。交织器的设计是Turbo码的关键。它的任务是把低码重的输入序列中连续的 零比特打散，使分量编码器的校验码有较大的码重，打孔是在两个编码器的输出 删去一部分，其目的是提高编码率。如果编码时进行了打孔则在译码时要在打孔 位补O。 Tubro码的主要特色或优点主要有四个方面:(1)发端交织器起到随机化码 重分布的作用，使Turbo码最小重量尽可能大，即随机化编码的作用;(2)收端 交织器与相应的多次迭代译码起到随机译码的作用，同时对有突发错误的衰落信 道起到化突发为随机独立差错的作用;(3)级联编译码起到利用短码构造长码的 作用，再加上交织的随机性使得级联也具有随机性，从而克服了固定式级联渐进 性能差的缺点;(4)并行级联结构与最优的多次迭代软输入/软输出的BCJR算