下载文档原格式
信息论与编码--卷积码（掌握利用编码电路求生成矩阵和监督矩阵）差错控制编码系统中除了使用分组码之外，另一类广泛应用的称为卷积码，在分组码的编码和译码过程中，每个码字的监督元只与本码字的信息元有关，而与其它码字的信息元无关，即分组码的编码器是一个无记忆的逻辑电路。
但是，卷积码的编码过程中，本码字的监督元不仅与本码字的信息元有关，而且与前m 个码字的信息元有关，因此卷积码的编码器是一个有记忆的时序电路。
卷积码由于更充分地利用码字之间的相关性，可以减少码字长度，简化编译码电路，并得到较好的差错控制性能，因此卷积码在通信领域，特别是卫星通信，空间通信领域得到广泛的应用。
7-1 卷积码的基本原理 7-1-1 卷积码的基本概念[例子]：通过一个例子说明卷积码的一些基本概念；下图给出了一个(3,2,2)卷积码编码器的原理图，当某一时刻，编码器输入并行一个信息码字为mi=[mi(1),mi(2)]，编码器并行输出由三个码元组成的卷积码的码字，c i (1)c (1)c i (2) c i (3)m i (1) m i (2)[ci]=[ci(1),ci(2),ci(3)]=[mi(1),mi(2),pi]。
[ci]称为一个码字。
mi 为信息元，pi 为监督元。
可以看出卷积码的输入输出关系为：ci(1)=mi(1) ci(2)=mi(2)ci(3)=mi(1)+mi(2)+mi-1(2)+mi-2(1)可见，卷积码当前输出的码字的监督元不仅与当前输入的信息元有关而且还与前2个码元有关。
这时编码器由2级移位寄存器构成。
定义：卷积码字中码元的个数为n0，码字中信息元个数为k0，由m 级移位寄存器构成的编码器称m 为编码码字约束长度。
有的教材称m’=m+1为约束长度，(m+1)n0为编码码元约束长度。
卷积码记为(n0,k0,m)。
定义：R=k0/n0为码率(Code rate)。
它是表示卷积码的编码效率。
卷积码的编码器的一般形式为：看以下卷积码的约束关系图：在译码时，译码在ci 时要利用到ci-1,ci-2，同时译码字ci+1,ci+2时还要利用到ci 。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。
；1）若，，求和；2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
二、综合题（每题10分，共60分）1.答：1）信源模型为2）由得则2.答：1）2），最佳输入概率分布为等概率分布。
3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。
2）6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为信息论习题集二、填空（每空1分）（100道）1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码论文通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。
信息论的内容之一。
信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。
②构造性的编码方法以及这些方法能达到的性能界限。
编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。
编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。
在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。
不是所有信道的编码定理都已被证明。
只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。
信道编码技术数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。
所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。
误码的处理技术有纠错、交织、线性内插等。
提高数据传输效率，降低误码率是信道编码的任务。
信道编码的本质是增加通信的可靠性。
但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。
这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。
同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。
信息论与编码填空1.按照消息在时间和幅度上信源分类为：离线信源，连续信源。
2.信源的冗余度来源于：3.根据是否允许失真信源编码可分为：无失真，限失真。
4.AWGN波形信道平均信道受限：香农公式C=Blog2C / 1+s/n 当归一化信道容量C/B趋近0时，信道完全丧失通信功能，此时：-1.6dB。
5.同时投两个色子，3和5同时出现的自信息量：6.设信源X={0，1} P（0）=1/8信源熵为：6/81.N=7循环码生成多项式g（x）=x4+x2+x+1 求：K= 3，h（x）=x3+x+1。
2.差错控制的基本方式大致分为 : FEC , ARQ , HEC 。
3.离散无记忆信源X符号个数n，则信源符号：等概信源熵：log2n4.离散对称输入也为：等概5.设信源X={0，1} P（0）=1/8则熵为：6/8 。
6.信源发出m个0和（100-m）个1，自信息量为：mlog28+（100-m）log27/8 。
判断1.卷积码是一组特殊线性分组码：错2.信源的消息通过信道传输误码提高和信宿获得信息量下降：错3.对一个离线信源进行失真编码定长码字k不定长码字K则K>k：错4.平均互信息量I（X:Y）对信源概率分布P（X i）和条件概率分布P（Y i |X i）：对5.自信息量和互信息量是条件量满足I （Y i，X i）=I（X i）+ I （Y i，X i）：对6.M阶马尔可夫信源和消息长M有记忆信源其信息相同：错7.算数编码是一个无失真编码基本思想的编码：错8.连续信源和离散信源都具有非负性：对9.率失真函数值与信源无关：错10.离散信源或数字信号理论基础是限失真：错1.可用克劳夫特不等式做唯一：错2.条件熵和无条件熵关系HY(X)=H(Y)：对3.非奇异码是唯一可译码：错4.任一多个码字的线性组合仍是码字：对5.纠错编码中带宽与差错减少关系是：错6.线性码最小差别越大纠错能力越强：对7.最大似然译码等价等概：对8.{0，01，011}不属于及时码：错9.DMC信道转移概率矩阵【x p】=[4个1/3 4个1/6] : 错10.互信息量I（X:Y）表示收到Y后对信源不确定度：对简答1.（P65）什么是香农容量公式为保证足够大的信道容量可采用哪两种方法？香农公式：C=Wlog（1+Ps/NoW）高斯白噪声加性信道单位时间的信道容量，Ps是信号的平均功率：NoW为高斯白噪声在宽带W内的平均功率，No/2是功率谱密度。
卷积码实验报告篇一：卷积码实验报告实验五信道编解码（）本章目标掌握数字频带传输系统调制解调的仿真过程掌握数字频带传输系统误码率仿真分析方法 5.1实验目的1. 使用MATLAB进行卷积码编/译码器的仿真。
2. 熟练掌握MATLAB软件、语句。
3. 了解卷积码编/译码器的原理、知识。
5.2实验要求1. 编写源程序、准备测试数据。
2. 在 MATLAB环境下完成程序的编辑、编译、运行，获得程序结果。
如果结果有误，应找出原因，并设法更正之。
5.3 实验原理（一）卷积码编码器 1. 连接表示卷积码由3个整数n，k，N描述。
k/n也表示编码效率（每编码比特所含的信N称为约束长度，息量）；但n与线性分组码中的含义不同，不再表示分组或码子长度；表示在编码移位寄存器中k元组的级数。
卷积码不同于分组码的一个重要特征就是编码器的记忆性，即卷积码编码过程中产生的n元组，不仅是当前输入k元组的函数，而且还是前面N?1个输入k元组的函数。
实际情况下，n和k经常取较小的值，而通过N的变化来控制编码的能力和复杂性。
下面以图1中的卷积码编码器为例介绍卷积码编码器。
该图表示一个约束长度K?3的（2，1）卷积译码器，模2加法器的数目为n?2，因此，编码效率k/n?1/2。
在每个输入比特时间上，1位信息比特移入寄存器最左端的一级，同时将寄存器中原有比特均右移一级，接着便交替采样两个模2加法器，得到的码元就是与该输入比特相对应的分支字。
对每一个输入信号比特都重复上述采样过程。
图1卷积码编码器（编码效率1/2，K?3）用于描述反馈移位寄存器实现循环码时所使用的生成多项式也可用户描述卷积码编码器的连接。
应用n个生成多项式描述编码的移位寄存器与模2加法器的连接方式，n个生成多项式分别对应n个模2加法器，每个生成多项式不超过K?1阶。
仍以图1中的编码器为例，用生成多项式g1(X)代表上方连接，g2(X)代表下方连接，则有：g1(X)?1?X?X2g2(X)?1?X2多项式中的最低阶项对应于寄存器的输入级。
教案信息论与编码课程目标：本课程旨在帮助学生理解信息论的基本原理，掌握编码技术的基本概念和方法，并能够应用这些知识解决实际问题。
教学内容：1.信息论的基本概念：信息、熵、信源、信道、编码等。
2.熵的概念及其计算方法：条件熵、联合熵、互信息等。
3.信源编码：无失真编码、有失真编码、哈夫曼编码等。
4.信道编码：分组码、卷积码、汉明码等。
5.编码技术的应用：数字通信、数据压缩、密码学等。
教学方法：1.讲授：通过讲解和示例，向学生介绍信息论与编码的基本概念和原理。
2.案例分析：通过分析实际问题，让学生了解信息论与编码的应用。
3.实践操作：通过实验和练习，让学生掌握编码技术的具体应用。
1.引入：介绍信息论与编码的基本概念和重要性，激发学生的学习兴趣。
2.讲解：详细讲解信息论的基本原理和编码技术的基本方法，包括信源编码和信道编码。
3.案例分析：通过分析实际问题，让学生了解信息论与编码的应用，如数字通信、数据压缩等。
4.实践操作：通过实验和练习，让学生亲自动手实现编码过程，加深对知识点的理解。
5.总结：回顾本课程的内容，强调重点和难点，提供进一步学习的建议。
教学评估：1.课堂参与度：观察学生在课堂上的表现，包括提问、回答问题、参与讨论等。
2.作业完成情况：评估学生对作业的完成情况，包括正确性、规范性和创新性。
3.实验报告：评估学生的实验报告，包括实验结果的正确性、实验分析的深度和实验报告的写作质量。
1.教材：选用一本适合初学者的教材，如《信息论与编码》。
2.参考文献：提供一些参考文献，如《信息论基础》、《编码理论》等。
3.在线资源：提供一些在线资源，如教学视频、学术论文等。
教学建议：1.鼓励学生积极参与课堂讨论和提问，提高他们的学习兴趣和主动性。
2.在讲解过程中，尽量使用简单的语言和生动的例子，帮助学生更好地理解复杂的概念。
3.鼓励学生进行实践操作，通过实验和练习，加深对知识点的理解。
4.提供一些实际问题，让学生运用所学知识解决，培养他们的应用能力。
信息论与编码题集一、选择题1. 下列关于信息量的说法中，正确的是（）A. 信息量是对信息不确定性的度量，不确定性越大，信息量越大B. 信息量与事件发生的概率成正比，概率越大，信息量越大C. 信息量的单位是比特，一个二进制符号所含的信息量为1比特D. 信息量只与信息的内容有关，与信息的形式和传递方式无关答案：A解释：信息量是对信息不确定性的度量，不确定性越大，信息量越大，A选项正确；信息量与事件发生的概率成反比，概率越小，信息量越大，B选项错误；信息量的单位是比特，一个二进制符号所含的信息量为1比特，这只是信息量的一种常见表示方式，实际上信息量的单位可以根据具体情况而定，C选项表述不全面；信息量不仅与信息的内容有关，还与信息的形式和传递方式有关，D选项错误。
2. 在信息论中，信息熵是用于描述（）A. 信息的不确定性B. 信息的准确性C. 信息的冗余度D. 信息的有效性答案：A解释：信息熵是用于描述信息的不确定性，它表示信息的平均不确定性程度，A选项正确；信息熵与信息的准确性无关，B选项错误；信息熵可以反映信息的冗余度，但它本身并不是用于描述冗余度的，C 选项不准确；信息熵主要用于描述信息的不确定性，而不是有效性，D选项错误。
3. 假设一个随机事件有四种可能的结果，它们发生的概率分别为0.2、0.3、0.4和0.1，那么该事件的信息熵为（）A. 1.5比特B. 1.8比特C. 2.0比特D. 2.5比特答案：B解释：信息熵的计算公式为H(X) = Σp(x)log₂p(x)，其中p(x)为事件发生的概率。
将概率代入公式计算可得：H(X) = (0.2log₂0.2 + 0.3log₂0.3 + 0.4log₂0.4 + 0.1log₂0.1) ≈ 1.8比特，B选项正确。
4. 对于两个相互独立的随机事件A和B，它们的信息熵分别为H(A)和H(B)，那么事件A和B同时发生的信息熵为（）A. H(A) + H(B)B. H(A) H(B)C. H(A) × H(B)D. H(A) + H(B) H(A × B)答案：A解释：对于两个相互独立的随机事件A和B，它们同时发生的信息熵等于它们各自信息熵的和，即H(A, B) = H(A) + H(B)，A选项正确。
1. 简述Shannon 的信源编码定理及信道编码定理。
[10分] 答：熵：H ，信道容量：C ，传信率：R 。
信源编码：当R>H 时，一定存在某种信源编码方式使信息能够完全传送；否则，当R<=H 时，是不可能的。
信道编码：当R<C 时，一定存在某种信道编码方式使信息能够可靠传送；否则，当R>=C 时，是不可能的。
2. 简述差错控制编码的基本原理。
为何软判决译码比硬判决译码可以得到较高的编码增益?[10分]差错控制编码的定理是发送方对准备传输的数据进行抗干扰编码，即按某种算法附加上一定的冗余位，构成一个码字后再发送。
接收方收到数据后进行校验，即检查信息为和附加冗余位之间的关系，以检查传输过程中是否有差错发生。
硬判决译码，即在译码前对接收量进行二电平量化后再进行判决译码。
种种量化方式比较粗糙，将丢失较多有用信息。
而软判决译码的量化电平数Q>2,(常取Q>8)，量化越精细，损失也就越小，故将获得较硬判决译码更大的编码增益。
3. 一个数据传输信道,带宽为1MHz,信噪比为50dB,计算在这个信道上能实现的最大信息传输率。
为什么信息传输率是受限的?[10分] 16.7Mbps信息传输率受限是因为信道带宽限制，以及信道中的噪声干扰。
4. 设一个[7,4]码的生成阵为试求该码的全部码字、一致校验矩阵以及最小汉明距离。
[20分]信息位有四位，应有16种组合——信息组0000 0001 0010 00110100 0101 0110 01111000 1001 1010 10111100 1101 1110 1111C={C| c=mG}⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001110001001101001011000111G全部码字：0000000 0001110 0010011 00111010100101 0101011 0110110 01110001000111 1001001 1010100 10110101100010 1101100 1110001 11111111一致校验矩阵G=[I A]H=[AT I]最小汉明距离：第4，5，6列的和为0，所以最小汉明距离为：35.循环冗余校验(CRC)的生成多项式为CRC-16: x16+x15+x2+1,试画出其编译码电路。
