下载文档原格式
信息论与编码--卷积码（掌握利用编码电路求生成矩阵和监督矩阵）差错控制编码系统中除了使用分组码之外，另一类广泛应用的称为卷积码，在分组码的编码和译码过程中，每个码字的监督元只与本码字的信息元有关，而与其它码字的信息元无关，即分组码的编码器是一个无记忆的逻辑电路。
但是，卷积码的编码过程中，本码字的监督元不仅与本码字的信息元有关，而且与前m 个码字的信息元有关，因此卷积码的编码器是一个有记忆的时序电路。
卷积码由于更充分地利用码字之间的相关性，可以减少码字长度，简化编译码电路，并得到较好的差错控制性能，因此卷积码在通信领域，特别是卫星通信，空间通信领域得到广泛的应用。
7-1 卷积码的基本原理 7-1-1 卷积码的基本概念[例子]：通过一个例子说明卷积码的一些基本概念；下图给出了一个(3,2,2)卷积码编码器的原理图，当某一时刻，编码器输入并行一个信息码字为mi=[mi(1),mi(2)]，编码器并行输出由三个码元组成的卷积码的码字，c i (1)c (1)c i (2) c i (3)m i (1) m i (2)[ci]=[ci(1),ci(2),ci(3)]=[mi(1),mi(2),pi]。
[ci]称为一个码字。
mi 为信息元，pi 为监督元。
可以看出卷积码的输入输出关系为：ci(1)=mi(1) ci(2)=mi(2)ci(3)=mi(1)+mi(2)+mi-1(2)+mi-2(1)可见，卷积码当前输出的码字的监督元不仅与当前输入的信息元有关而且还与前2个码元有关。
这时编码器由2级移位寄存器构成。
定义：卷积码字中码元的个数为n0，码字中信息元个数为k0，由m 级移位寄存器构成的编码器称m 为编码码字约束长度。
有的教材称m’=m+1为约束长度，(m+1)n0为编码码元约束长度。
卷积码记为(n0,k0,m)。
定义：R=k0/n0为码率(Code rate)。
它是表示卷积码的编码效率。
卷积码的编码器的一般形式为：看以下卷积码的约束关系图：在译码时，译码在ci 时要利用到ci-1,ci-2，同时译码字ci+1,ci+2时还要利用到ci 。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。
；1）若，，求和；2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
二、综合题（每题10分，共60分）1.答：1）信源模型为2）由得则2.答：1）2），最佳输入概率分布为等概率分布。
3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。
2）6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为信息论习题集二、填空（每空1分）（100道）1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码论文通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。
信息论的内容之一。
信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。
②构造性的编码方法以及这些方法能达到的性能界限。
编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。
编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。
在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。
不是所有信道的编码定理都已被证明。
只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。
信道编码技术数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。
所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。
误码的处理技术有纠错、交织、线性内插等。
提高数据传输效率，降低误码率是信道编码的任务。
信道编码的本质是增加通信的可靠性。
但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。
这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。
同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。
信息论与编码填空1.按照消息在时间和幅度上信源分类为：离线信源，连续信源。
2.信源的冗余度来源于：3.根据是否允许失真信源编码可分为：无失真，限失真。
4.AWGN波形信道平均信道受限：香农公式C=Blog2C / 1+s/n 当归一化信道容量C/B趋近0时，信道完全丧失通信功能，此时：-1.6dB。
5.同时投两个色子，3和5同时出现的自信息量：6.设信源X={0，1} P（0）=1/8信源熵为：6/81.N=7循环码生成多项式g（x）=x4+x2+x+1 求：K= 3，h（x）=x3+x+1。
2.差错控制的基本方式大致分为 : FEC , ARQ , HEC 。
3.离散无记忆信源X符号个数n，则信源符号：等概信源熵：log2n4.离散对称输入也为：等概5.设信源X={0，1} P（0）=1/8则熵为：6/8 。
6.信源发出m个0和（100-m）个1，自信息量为：mlog28+（100-m）log27/8 。
判断1.卷积码是一组特殊线性分组码：错2.信源的消息通过信道传输误码提高和信宿获得信息量下降：错3.对一个离线信源进行失真编码定长码字k不定长码字K则K>k：错4.平均互信息量I（X:Y）对信源概率分布P（X i）和条件概率分布P（Y i |X i）：对5.自信息量和互信息量是条件量满足I （Y i，X i）=I（X i）+ I （Y i，X i）：对6.M阶马尔可夫信源和消息长M有记忆信源其信息相同：错7.算数编码是一个无失真编码基本思想的编码：错8.连续信源和离散信源都具有非负性：对9.率失真函数值与信源无关：错10.离散信源或数字信号理论基础是限失真：错1.可用克劳夫特不等式做唯一：错2.条件熵和无条件熵关系HY(X)=H(Y)：对3.非奇异码是唯一可译码：错4.任一多个码字的线性组合仍是码字：对5.纠错编码中带宽与差错减少关系是：错6.线性码最小差别越大纠错能力越强：对7.最大似然译码等价等概：对8.{0，01，011}不属于及时码：错9.DMC信道转移概率矩阵【x p】=[4个1/3 4个1/6] : 错10.互信息量I（X:Y）表示收到Y后对信源不确定度：对简答1.（P65）什么是香农容量公式为保证足够大的信道容量可采用哪两种方法？香农公式：C=Wlog（1+Ps/NoW）高斯白噪声加性信道单位时间的信道容量，Ps是信号的平均功率：NoW为高斯白噪声在宽带W内的平均功率，No/2是功率谱密度。
信息论与编码--卷积码（掌握利用编码电路求生成矩阵和监督矩阵）差错控制编码系统中除了使用分组码之外，另一类广泛应用的称为卷积码，在分组码的编码和译码过程中，每个码字的监督元只与本码字的信息元有关，而与其它码字的信息元无关，即分组码的编码器是一个无记忆的逻辑电路。
但是，卷积码的编码过程中，本码字的监督元不仅与本码字的信息元有关，而且与前m 个码字的信息元有关，因此卷积码的编码器是一个有记忆的时序电路。
卷积码由于更充分地利用码字之间的相关性，可以减少码字长度，简化编译码电路，并得到较好的差错控制性能，因此卷积码在通信领域，特别是卫星通信，空间通信领域得到广泛的应用。
7-1 卷积码的基本原理 7-1-1 卷积码的基本概念[例子]：通过一个例子说明卷积码的一些基本概念；下图给出了一个(3,2,2)卷积码编码器的原理图，当某一时刻，编码器输入并行一个信息码字为mi=[mi(1),mi(2)]，编码器并行输出由三个码元组成的卷积码的码字，c i (1)c (1)c i (2) c i (3)m i (1) m i (2)[ci]=[ci(1),ci(2),ci(3)]=[mi(1),mi(2),pi]。
[ci]称为一个码字。
mi 为信息元，pi 为监督元。
可以看出卷积码的输入输出关系为：ci(1)=mi(1) ci(2)=mi(2)ci(3)=mi(1)+mi(2)+mi-1(2)+mi-2(1)可见，卷积码当前输出的码字的监督元不仅与当前输入的信息元有关而且还与前2个码元有关。
这时编码器由2级移位寄存器构成。
定义：卷积码字中码元的个数为n0，码字中信息元个数为k0，由m 级移位寄存器构成的编码器称m 为编码码字约束长度。
有的教材称m’=m+1为约束长度，(m+1)n0为编码码元约束长度。
卷积码记为(n0,k0,m)。
定义：R=k0/n0为码率(Code rate)。
它是表示卷积码的编码效率。
卷积码的编码器的一般形式为：看以下卷积码的约束关系图：在译码时，译码在ci 时要利用到ci-1,ci-2，同时译码字ci+1,ci+2时还要利用到ci 。
因此译码约束长度一般要大于编码约束长度，因为：虽然一般理解译码字ci 时只利用ci+1,ci+2但实际上这时译出的ci 可能译错，当译ci+2时同样是对ci 的一种校验。
还可以对cI 的译码进行修改。
这是卷积码的特别之处。
m 1 m 2 … m k0c 1 c 2 … c n0… …如果卷积码编码器的输入端输入有头无尾的一个半无限序列，即信息码字序列为[m] =m0,m1,m2,…mi…，则编码器的输出也将是一个半无限序列，[C] =c0,c1,c2,…ci,…，称为卷积码的码字序列。
卷积码同样有系统卷积码和非系统卷积码之分。
系统卷积码的码字中明显的包含着k0位信息码元，而非系统卷积码的信息码元是隐含在码字中的。
如图所示，为一个(2,1,2)非系统卷积码的编码器；约束关系为： ci(1)=mi-2+mi-1+mi ci(2)=mi-2+mi如果输入的信息序列为： [m]=(m0,m1,m2,……)=(1,1,1,……) 则输出的码字序列为： [C]=(11,01,10,……)。
7-1-2 卷积码的监督矩阵描述同分组码一样，卷积码也可以用生成矩阵和监督矩阵来描述。
[截短卷积码的基本监督矩阵]：m ic i例如：卷积码编码电路如图所示，求监督矩阵，并求当输入信息源为10010时，对应的输出码字？通过一个例子说明：看一个(3,1,2)系统卷积码，其编码电路为：n0=3, k 0=1, m=2, m’=m+1=3输入信息序列：m={……mi+1, mi, mi -1, mi-2, ……} 输出码字为：[ci]={mi, pi1, pi2} 可以看出其监督关系为： pi1=mi+mi-1 pi2=mi+mi-2下面看一下在编码器一个约束长度的监督关系：0mi-2+0pi-2,1+0pi-2,2+1mi-1+0pi-1,1+0pi-1,2+1mi+1pi,1+0pi,2=0 1mi-2+0pi-2,1+0pi-2,2+0mi-1+0pi-1,1+0pi-1,2+1mi+0pi,1+1pi,2=0 写成方程的矩阵形式：000 100 110 [C i ]T=[0]100000101其中码字序列[Ci]为截短卷积码；[Ci]=[ci-2,ci-1,ci]=[mi-2, pi-2,1, pi-2,2, mi-1, pi-1,1, pi-1,2, mI, pi,1, pi,2]定义其系数矩阵为：[h]=000 100 110 =[P 20 P 10 P 0I 2]=[h 2 h 1 h 0]100000101截短卷积码的基本监督矩阵。
[P 2]=[P 1]= 1 [P 0]= 1 [0]= 0 [I 2]= 1 01 0 1 0 0 1m im ip i1p i2基本监督矩阵的一般形式为：[h]=[Pm0 Pm-10 ……P10 P0Ir0]=[hm hm-1 ……h1 h0]hm = Pm0 ; hm-1 = Pm-10……h1 = P10; h0= P0Ir0;基本监督关系为：[h][Ci]T=[0][h]矩阵为n0-k0=r0行，(m+1)×n0列矩阵；Ir0矩阵为(n0-k0)×(n0-k0)单位阵；0矩阵为(n0-k0)×(n0-k0)零矩阵；Pm矩阵为(n0-k0)×k0阶矩阵；例如上面介绍的(3,2,2)系统卷积码的基本监督矩阵为：[h]=[100 010 111] r0=3-2=1行; (m+1)×n0=3×3=9列矩阵；P2=[10]; P1=[01]; P0=[11]。
h2=100; h1=010; h0=111;[初始截短卷积码的监督矩阵]：初始截短卷积码定义为：在编码器初始状态为零时，初始输入m+1个信息码字编码器输出的卷积码。
即：[C]初=[c0 c1 … cm]，根据基本监督矩阵的定义，可以很方便地得到初始截短卷积码的监督关系为：[H]初[C]初=[0]，而监督矩阵为：[H]初= P0I r0=h0P10 P0I r0h1 h0……P m0 P m-10 ……P10 P0I r0h m h m-1……h1 h0[H]初矩阵为(m+1)×r0行；(m+1)×n0列；(3,1,2)卷积码的[H]初为：[H]初= h0=110101h1h0100 110000 101h2 h1 h0000 100 110100 000 101(3,2,2)卷积码的[H]初为：[H]初= h0=111h1h0010 111h2h1h0100 010 111[卷积码的监督矩阵]；上面介绍的是初始截短卷积码的监督矩阵，实际上卷积码的监督矩阵应当是一个有头无尾的矩阵，它对应的基本监督关系为：[H][C]T=[0]其中：[C]=[C0,C1,C2,……Cm,Cm+1,……][H]= P0I r0=h0P10 P0I r0h1 h0…………P m0 P m-10 ……P10 P0I r0h m h m-1……h1h0 P m0 P m-10 ……P10 P0I r0h m h m-1……h1h0 P m0 P m-10 ……P10 P0I r0h m h m-1……h1h0…. …. … …例如(3,2,2)卷积码的监督矩阵为：[H]= h0=111h1h0010 111h2h1h0100 010 111 …h2h1h0100 010 111 …h2h1h0100 010 1117-1-3卷积码的生成矩阵描述卷积码同样也可以用生成矩阵来描述，[卷积码的生成矩阵]：同分组码一样，卷积码的生成矩阵与监督矩阵同样也有相互正交的关系：因此，可以很方便的得到：截短卷积码的基本监督矩阵的一般形式为：[g]=[g0 g1 …… gm]=[Ik0P0T 0P1T ……0P mT]初始截短卷积码的监督矩阵的一般形式为：[G]初=g 0 g 1 …… g m =I k0P 0T 0P 1T ……0P m T g 0 …… g m-1I k0P 0T ……0P m-1T …… ……g 0I k0P 0T卷积码的无穷监督矩阵的一般形式为：[G]= g 0 g 1 …… g m =I k0P 0T 0P 1T ……0P m Tg 0 g 1…… g m I k0P 0T 0P 1T ……0P m T …………g 0 g 1 …… g m I k0P 0T 0P 1T ……0P m Tg 0 g 1 …… g m I k0P 0T 0P 1T ……0P m T …………例如：(3,1,2)卷积码的这几种矩阵分别为：[h]=000 100 110=[P 20 P 10 P 0I 2]=[h 2 h 1 h 0]100 000 101[g]=[111 010 001]=[I 1P 0T 0P 1T 0P 2T ][G]初= g 0 g 1 g 2 = I 1P 0T 0P 1T 0P 2T = 111 010 001g 0 g 1 I k0P 0T 0P 1T000 111 010g 0 I k0P 0T 000 000 111[G]= g 0 g 1 g 2 =111 010 001 g 0 g 1 g 2 111 010 001 …… ……g 0 g 1 g 2 111 010 001 g 0 g 1 g 2 111 010 001 …… ……[卷积码生成矩阵的多项式描述]：看一个(3,1,2)系统卷积码，其编码电路为：通过前面的(3,1,2)系统卷积码的例子的编码电路可以看出：编码器的三个输出支路可以由三个生成多项式来确定。
g(1)(x)=1 g(2)(x)=1+x g(3)(x)=1+x2一个(n0,k0,m)卷积码的支路生成多项式的一般形式为：m im ip i1p i2g(1)(x)=g0(1)+g1(1)x+…+gm(1)xm g(2)(x)=g0(2)+g1(2)x+…+gm(2)xm ……g(n0)(x)=g0(n0)+g1(n0)x+…+gm(n0)xm 如果用向量表示支路的生成多项式为： g(i)=[ g0(i) g1(i) g2(i)…… gm(i) ] 这时，卷积码的基本生成矩阵为：[g]=[g0 g1 …… gm]=[g0(1) g0(2) … g0(n0) g1(1) g1(2)…g1(n0) ……gm(1) gm(2)…gm(n0)]g0=[g0(1) g0(2) … g0(n0)] g1=[g1(1) g1(2)…g1(n0)]……gm=[gm(1) gm(2)…gm(n0)]由这个基本生成矩阵可以得到卷积码的生成矩阵和初始截短卷积码的生成矩阵等。
