信道编码的发展与应用
摘要：在有扰离散信道上，只要信息传输速率不大于信道容量，就总可以找到一种信道编码方式来实现无误传输。这就是信息论的开创者香农在1948年提出的信道编码定理。信道编码定理给信道编码的研究指出了明确的方向。本文介绍了几种主要的信道编码、译码原理，分析了他们的实现方法和性能，并对各种编码的优缺点进行了总结，在给出信道编码的应用实例的基础上对信道编码的未来进行了展望。关键词：信道编码；分组码；卷积码；级联码；Turbo码信息与通信系统中的编码有4种形式：信源编码、信道编码、密码编码和多址编码。信源编码解决了通信系统的有效性问题，通过压缩信源冗余信息来提高通信的效率；信道编码则是通过增加冗余位来达到保证通信系统的可靠性（通过牺牲宽带或传输速率来换取可靠性），其基本思想是根据相关性来检测和纠正传输过程中产生的差错；密码编码则是保证了系统的安全性；多址编码主要是解决多用户通信问题。
香农第二编码定理证明，用任意接近信道容量C的传输速率R传送并且传输的差错率可以任意小的编码方法是存在的。香农还从理论上证明了，即使是随机编码，只要码组长度无限，就可以找到一种信道编码方式来实现无误传输。信道编码的任务就是寻找这种编码的。
1 信道编码的分类
1.1 分组码
把信息序列以每k个码元分组，然后把每组k个信息元按一定规
律产生r 个多余的校验元，输出序列每组长为n k r =+。每一码字的r 个
校验元只与本组的k 个信息元有关，与别的信息位无关，记为分组码
(n,k)。
线性分组码是最有实用价值的一类码，比如汉明码、Golay 码、
RS 码、BCH 码等都属于线性分组码。分组码线性是指码组中码元的约
束关系是线性的，而分组则是对编码而言。线性分组码的编码方式是
将信源输出序列分组，每组是长为k 的信息序列，然后按照一定的编
码规则插入n k -位的校验位，校验位是所有信息位的线性组合，组成
n 长的码字序列。线性分组码可以用近世代数理论中有限维有限域的
矩阵来描述。
线性分组码生成矩阵为G ，信息矢量为1(,...,)k u u u =，则编码输出
为:
1k n c k u G ?=?
如果生成的是系统码, 即原始的信息出现在编码中, 则生成矩阵
k n G ?可改写为:
():k G Q I =
其中: k I 表示k 阶单位阵，Q 为()k n k ?-阶阵。
线性分组码用于译码的校验矩阵为H ,满足0T H c =和0T H G =。
对于系统码而言,其校验矩阵为():n k H Q I -=，Q 为()k n k ?-阶阵, n k
I -为n k -阶单位阵。由此可知线性分组码的生成矩阵和校验矩阵的行矢
量彼此正交。
线性分组码的性质是：
①
码中任意两个码字之和仍为一码字； ②
任意码字是G 的行向量12,,...,k G G G 的线性组合； ③
零向量0=（0,0，…，0）是一个码字，称为零码字； ④ 线性分组码的最小距离等于非零码字的最小重量（即汉明
重量，即对于一个非零码字而言，非零元素的个数即为汉明重量）。
【例1】 已知生成矩阵为100111001001110011101G ????=??????
，求生成的线性分组码及由H 生成的线性分组码。
解 由于()G IP =则有
111001111101P ????=??????
又因为T Q P =则
10110001110100(Q,I)11000100110001H ??????==??????
由生成矩阵G 生成的（7,3）线性分组码为
把校验矩阵H 当作生成矩阵，可生成（7,4）线性分组码：
这样生成的C 和T c 是互相正交的。
1.1.1 循环码
一个(n,k)线性分组码, 如果每个码字经过任意循环移位后仍然
是一个线性分组码, 那么此码就是一个循环码。
循环码是线性分组码中最主要、最有用的一个子类，它具有完整的代
数结构，编译和译码可以用具有反馈联级的移位寄存器来实现。它满
足循环移位特性：码C 中任何一个码字的循环移位仍是码C 中的一个
码字。
一般(n,k)线性分组码的k 个基底之间不存在规则的联系，因此我
们需用k 个基底组成生成矩阵来表示一个码的特征。而循环码的k 个
基底可以是同一个基底循环k 次得到，因此用一个基底就可以表示一
个码的特征。我们可以用不大于（n-1）次的码多项式()C x 来唯一表
示一个码字：
()12
1210n n C x x c x c x c c --=++++
根据循环码的定义，与一般的线性分组码相比，循环码的生成矩阵结
构更加简化，生成矩阵由生成多项式(x)g 决定：
1(x),,x (x),(x)T k g g g G
x -??=?? (x)g 必为1n x +的因子，
根据线性分组码的产生原理，则(n,k)循环码有下面的关系式：(x)u(x)g(x)v =，编码器的实现框图如图1所示。
图1 编码器的实现
g(x)h(x)0mod(1)n
x ≡+，其中：h(x)为相应的校验多项式，最高次数为
n k -。 构造(n,k)循环码的步骤：
① 对(1)n x +作因式分解，找出（n k -）此因式。
② 以该（n k -）此因式作为生成多项式，与不高于(k 1)-次的信息多
项式相乘得码多项式()(x)g(x)C x m =。()C x 的次数不高于
(k 1)(n k)(n 1)-+-=-次。
【例2】 构造一个（7,4）循环码。
解 （1）对7(1
)x +作因式分解得：73231(x 1)(1)(x 1)x x x x +=+++++。3次因式有两个32(1)x x ++和3(x 1)x ++，均可以作为（7,4）循环码的
生成多项式，选择不同的(x)g 会得到不同的（7,4）循环码。
（2）选32(x)1g x x =++，信息多项式共有162k =种可能的组合，
对应16个码字。利用()(x)g(x)C x m =可得到16个码字。
例如，m =（0110）对应码字：
()323210532(x)g(x)(x )g(x)
(0101110)C x m x m x m x m m x x x ==+++=+++→
表1是该（7,4）循环码的码字。可以看出，任何码字的循环仍然是码
字，整个码组有4组码字的循环，但都是32(x)1g x x =++的线性组合。
表1 （7,4）循环码
1.1.2 BCH 码
如果α是有限域()m GF q 上的一个非零元素，存在整数b 1≥，则码
长为n 最小汉明距离为21t +的BCH 码在(q)GF 域上的生成多项式g(x)必
以121,,,b b b t ααα++-为根。如果()m
GF q 上的非零元素α是(q)GF 域上最小多项式(x)i m 的根，则BCH 码的生成多项式可以用下面的公式来描
述：
121(x)LCM[(x),(x),
,(x)]b b b t g m m m ++-= 当1b =时称为狭义BCH 码，当1m n q =-时称为本原BCH 码，当2q =时
称为二元BCH 码。BCH 码家族最重要的码就是狭义本原二元码。他的生
成多项式可改写为：
1321(x)LCM[(x),(x),
,(x)]t g m m m -=
这里t 为纠错个数，(x)i m 为不可约多项式，LCM 为取最小公倍式。由
该生成多项式产生的最小码距021d t d ≥=+（0d 为设计码距）。
可纠t 个错误的BCH 码的生成多项式可按下面的步骤求解：
⑴ 选择()2m GF 域上的一个本原元素α；
⑵ 根据设计的纠错能力t ，确定由本原多项式决定的α的最下多项式；
⑶ 计算1321(x)LCM[(x),(x),,(x)]t g m m m -=，其中321,,,t ααα+均为根。
BCH 码是一类重要的循环码，能纠正多个随机错误（汉明码只能
纠单个错误）。由于具有纠错能力强、编码简单、译码较容易实现等
优点而被广泛采用。
1.2 卷积码
编码器在某个时间段产生的n 个码元，不但取决于该时间段进入
编码器的k 个信息位，而且也与前面的1N -个时间段内的信息组有
关，这就是树码或称链码。
卷积码是树码中最重要的一类，是一种非线性码，其编码器中有
记忆器件存在。它的码字与N 个时间段的信息组的映射关系是时不变
的线性关系，卷积码与分组码相似，具有纠正随机错误、突发错误或
同时纠正这两类错误的能力。通常卷积码更适用于前向纠错。一般的
卷积码选取较小的,n k 和较大的N ，可以获得既简单又有高性能的信
道编码。
卷积码的描述方式有很多种：生成矩阵、生成多项式、D 变换，
以及主要用于译码的树图、trellis 图和状态转移图等。卷积码的生
成矩阵与分组码不同，他是一个半无限矩阵。这就导致了卷积码在编
码上的输出是有头无尾的，即每个信息段的输出都是无穷的。实际中，通过在信息段的后面增加k个0来分割，因为在连续输入k个0后输出也是0。
卷积码的译码算法有多种，主要包括：序列译码、迭代译码、list 译码以及维特比译码等。其中维特比译码用的较多，他是一种基于trellis图最大似然译码，因此也是一种最佳译码算法。维特比译码的缺点主要有2个：
⑴要等全部接收的数据进入译码器后才能最后算出译码的结果，因此时延长。
⑵共有2(k1)
b 条幸存路径的全部历史数据需要保存，所以存储量很大。
1.3 级联码
串行级联码由两个短码（内码和外码）串接而成。其分组长度是内、外码分组长度的乘积，码率是两种码率的乘积。外码的作用是纠正经内码译码后遗留下来的一些差错。
根据各种编码的特性，典型的串行级联码方案采用特别适合于纠突发错误的RS（Reed-Soloman）码为外码，纠随机错误能力很强的卷积码为内码，信息数据经RS编码、交织和卷积编码后发送出去，接收信号后经卷积译码、去交织和RS译码后输出。
串行级联码与单一码相比更易获得高的编码增益，设备不太复杂，费用相对较低，运用于对编码效率要求不高的通信系统可获得优异的性能。在加性高斯白噪声（AWGN）信道中，若要系统误码率不大
于5
10 ，那么，不编码的最佳相于PSK系统要求比特能量与噪声密度之比（Eb/No）为9.5dB，采用卷积码-序列译码的系统要求Eb/No为3-5Db,采用串行级联码的系统要求Eb/No为0.2dB，这与香农容量极限（-1.6dB）仅差1.8dB。
串行级联码的问题在于它仍然没有摆脱短码的束缚，因而在信息传输速率接近信道容限时，其译码过程不但不会减少错误，而且还可能使错误增加。于是人们继续寻找性能更优异的可译码结构，其重要成果是1992年申请专利、1993年在ICC会议上以论文形式公开的Turbo-code。
1.4 Turbo码
Turbo码是1993年由C.Berrou等提出的一种并联的卷积码编码方案。他巧妙地将卷积码和随机交织器结合在一起，实现了随机编码的思想；同时，采用软输出迭代译码来逼近最大似然译码。仿真结果表明：在AWGN 信道下，码率为1/2 的Turbo 码在达到误比特率（BER) ≤ 10?5时，Eb/N0仅为约0.7dB （这种情况下达到信道容量的理想Eb/N0值为0db），远远超过了其他编码方式，一时在信息和编码理论界引起了轰动。Turbo码由于其近Shannon界的突出纠错能力，成为近年信道编码理论研究的热点问题。其编码器由两个（或多个）带反馈的系统卷积码器经一交织器并行级联而成，接收端采用逐位最大后验概率译码器通过反复迭代循环来译码。编码器结构如图2所示。
图2 Turbo码编码器结构
Turbo码有一重要特点是其译码较为复杂，比常规的卷积码要复杂的多，这种复杂不仅在于其译码要采用迭代的过程，而且采用的算法本身也比较复杂。这些算法的关键是不但要能够对每比特进行译码，而且还要伴随着译码给出每比特译出的可靠性信息，有了这些信息，迭代才能进行下去。用于Turbo码译码的具体算法有：标准算法（对BJCR算法的修正）、对数域算法、最大值算法及软输出维特比译码算法（SOVA）。他的结构图可以用流水线的形式来描述，每个单元表示一次迭代，如图3所示。
图3 迭代算法结构图
由于充分利用了码间的附加信息，Turbo码获得了很好的编码增益。Turbo码不仅在信道信噪比很低的高噪声环境下性能优越，而且还具有很强的抗衰落、抗干扰能力，因此它在信道条件差的移动通信
系统中有很大的应用潜力，在第三代移动通信系统(IMT-2000）中己经将Turbo码作为其传输高速数据的信道编码标准。
2 信道编码的应用
2.1 纠错码在数字音频/视频传输中的应用
2.1.1数字音频广播（DAB）：
(1)在FM多路复用DAB中采用()()
n k d=循环码，传文
,,273,191,18
本文件时用（273,190）码。
(2)欧洲DAB标准：采用rate-compatible punctured convolutional(RCPC) coding scheme:
1)Unequal and Adaptive Error Protection with RCPC Codes;
2)The RCPC Coding Scheme for the European DAB System; 2.1.2数字视频广播（DAB）：
(1)第一个标准（90年代）：（514,493）BCH码，6
d=；
(2)采用级连码：（204,188）RS码 +（2,1,7）卷积码
(3)欧洲最近的DVB标准（2005）：BCH+LDPC码组成的级连码
2.2 纠错码在移动通信中的应用
2.2.1 Turbo码在第三代移动通信中的应用
⑴编码原理
图4 Turbo码编码器框图
⑵ 3G数字移动通信中的Turbo码编码器结构
2.3 纠错码在光纤通信中的应用
纠错码在光纤通信中的应用是近几年才提出的，基本原因在于，一是光纤本身具有较强的抗干扰能力，二是在光纤通信初期对速率的要求不高，一条光纤只须传输一个波长的信号。随着Internet的普及与迅速发展，通信业务量大增，因而需要采用波分复用，甚至密集波分复用技术。在长距离或超长距离、大容量DWDM光纤通信系统中，光纤的色散、长距离传输引起的信号衰减、信道噪声以及一根光纤中多个波长之间的干扰会使系统的性能大大下降，为此，在光纤干线上每隔大约80公里就必须进行一次光中继，每隔400公里左右则必须进行一次电信号的再生，从而使建网和运营的成本剧增。
解决上述问题的关键是在光纤通信中引入前向纠错编码（Eorward Error-Correction，简称为FEC）技术。采用FEC所获得的编码增益，可用于降低误码率、以提高通信的可靠性，也可用于增大传输距离，还可用于减小所需的发射功率，或综合加以利用。
2.3.1 带内FEC方案
带内FEC方案是ITU-T在2000年10月通过的G.707建议中提出的。所谓带内，是指将FEC的冗余监督位置于SONET/SDH原有帧格式开销中的未定义位上，无须增加额外的带宽。该方案适用于4路
OC-48/STM-16，或单路OC-192/STM-64信号，线路速率为10Gb/s ，
速率低于OC-48/STM-16时不使用FEC ，高于此速率时须在此方案基
础上加上交织技术。该方案的优点是，加上FEC 后不会影响SONET/SDH
原有的帧格式，线路速率保持不变，而且与不采用用FEC 的网络兼容。
(n,k)BCH 码是一类可纠正多个随机错误的线性分组码。带内FEC 方案
采用可纠3个比特错误的二元（4359,4320）BCH 码（简称为BCH-3），
该码是本原（8119，8152）BCH 码的一种缩短码, 其生成多项式为
16125
g(x)1x x x =+++ 按照SDH-16帧结构，取比特用户数据，加上39个冗余监督元，便构
成的一个码长为n=4359的（4359,4320）BCH 码的码字， 其最小距
离为7， 故最多可纠正3比特错误。这39个冗余监督元充填于SDH-16
帧结构开销中未定义的空闲比特位中，所以，采用带内FEC 既不影响
原来的帧格式，也不改变线路的传输速率。
由于SDH-16帧结构由9行组成，每行有字节（每字节8比特），
于是每行可编成8个BCH （4320，4359）码的码字。每个BCH （4320，
4359）码的码字可纠正3个比特错误。若采用交织技术，即将8个码
字排成一个阵列，每行一个码字（4320比特），共有8行、4320列，
传输时按顺序逐列传输，在接收端再按此方式排成阵列，然后逐行译
码，如果在传输过程中连续有3列（24比特）发生错误，每个接收
码组中也只有3比特错误，因而译码器可自动加以纠正。可见，经过
交织处理后，带内FEC 可纠正单个接收码组中的任意3比特错误，同
时可纠正SDH-16帧中长度多达24比特的突发错误。
2.3.2 带外FEC 方案
带内FEC 的优点是不用改变SONET/SDH 的帧格式、无须提高线路
速率，但其纠错能力非常有限，已不能满足更高速率的远程网络的质
量要求。因而ITU-T 在2001年制定的G.709标准中便提出了适合DWDM
光传输网（OTN ）2.5、10、40Gb/s 速率的带外FEC 方案, 而G.795
提出的带外FEC 方案则主要用于2.5Gb/s 以及更高的速率海底光纤传
输网络。这两种带外FEC 方案基本相同，不同点是G . 975采用的交
织技术未形成标准，G . 709则有统一的标准。所谓带外，是指FEC
为了实现纠错所增加的冗余校验位不是象带内FEC 那样插入原有帧
格式的空闲位中，而是附加在数据帧之后，需要增加额外的带宽，即
使用带外FEC 后线路速率会提高。以上两种带外FEC 均采用
Reed-Solomob 码(简称RS 码)。RS 码是一类具有很强的既能纠随机错
误又能纠突发错误的最大距离非二元码，在各种通信及计算机、光盘
存储系统中具有广泛应用。
FEC 采用RS （255，239）码，简称RS-8，即在k=239数据字节
（每个字节为一个码元符号）后加上16个校验字节便构成长为n=255
字节的码字, 其编码效率为93.7%。RS （255，239）码生多项式为：
8432
g(x)1x x x x =++++ 该码可纠正接收码组中任意8字节的随机错误，纠单个突发错误的最
大长度为64比特。
两种FEC方案有各自的应用范围，带内FEC适用于线路速率为10Gb/s的 4路OC-48/STM-16，或单路OC-192/STM-64信号，带外FEC 则适合DWDM光传输网（OTN）2.5、10、40Gb/s速率以及海底光纤传输系统使用。
3 结束语
随着信道编码理论的不断发展和信道编码技术应用领域的扩展，信道编码识别技术会变得越来越重要。且因为该技术扔存在许多需要完善和突破的领域，所以对该技术进入深入的研究具有重要的理论意义和应用价值。
论文首先对几种形式的信道编码给予简单介绍，并在此基础上，给出了现阶段中信道编码的一些实例应用。由此可知分组码具有完善的理论支持，使得他们具有完美的数学结构和许多简单有效的纠错译码算法。卷积码和Turbo码的译码复杂度要比分组码高出很多，且虽然卷积码有很强的纠随机错误能力，但同时也会产生突发错误。
在给定的纠错能力下，根据理论指导就能设计出分组码的编码
器。但是对于卷积码及Turbo码和级联码的编码方式而言，并没有相
应的完善的理论依据，且卷积码的识别方法也存在很多不足。
因此，对于信道编码技术的研究，还需要扩展识别对象，使之包括BCH码、RS码、Turbo码及LDPC等等，另一方面需要解决误码条件下的信道编码识别问题。这需要进一步研究来实现和完善。
4参考文献
[1] 李梅，李亦农等。信息论基础教程（第2版）[M]。北京：北京邮电大学出版社，2008。
[2] 王军选。信道编码的发展[J]。IEEE，2003,1004-373X 21-016-03。
[3] 谭华有。信道编码的发展与Turbo-code系统的开发[J]。无线电工程，2002,32（8）：22-25。
[4] 宋镜业。信道编码识别技术研究。https://www.doczj.com/doc/754139930.html,，20090101。
[5] 唐朝京。信息论与编码基础。北京：电子工业出版社，2010。
1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具
《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)
信息论基础发展史 信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。 通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。 当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
信息论基础结课论文 摘要：信息的产生与应用始终贯穿在人类进化与文明发展的整个过程中，，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域。数学作为基础学科，与信息论的关系十分密切。 关键字：信息论、确立与发展、应用、与数学的联系 信息是一个十分通俗而又广泛的名词，通常是指音信、消息，它的产生与应用始终贯穿在人类进化和文明发展的整个过程中。中国古代有个《烽火戏诸侯》的故事，周幽王为了搏得褒姒的“千金一笑”而点燃了战时传递敌情的烽火来戏耍诸侯，结果失信天下，为后来西周的灭亡埋下了隐患。《三国演义》中蜀国大将关羽“大意失荆州”的原因之一就是东吴将士偷袭了荆州的烽火台，切断了烽火报信的信息源，结果荆州遭到“攻其不备”而失陷。虽然在古代信息传递非常不便，有“烽火连三月，家书抵万金”的难处，但仍然有“鸿雁捎信”、“柳絮传书”等动人的故事。由此可以看出，人类对信息的认识和利用是古已有之。在社会发展的现代生活中，从手机到个人电脑，从书本文件到卫星通信，信息几乎是在各个领域发挥着重要的作用。虽然信息技术在人类历史的进程当中随着生产力的进步而发展，但是信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。 1948年美国杰出科学家香农的著名论文《通信的数学理论》的发表，标志着信息论的诞生。所以，信息论一般是指香农信息论，它是信息科学产生的基础与起点，从20世纪40年代末起，它已经经历了半个多世纪的发展。在这半个多世纪中，人类文明与科学技术经历了一个突飞猛进的发展，信息论与信息科学的发展与变化正是人类文明与科学进步的标志与见证。 自香农理论产生之后，它的发展大体经历了理论的确立与发展、理论的应用与近代史发展几个阶段。1948年到20世纪60年代是理论的确立期，在这一时期中，香农信息论完成了信息度量与通信中的基本问题结合，并对这些问题实现了严格的数学描述论证。从信息的度量到通信模型，从编码问题到主要编码的定理证明，都是在严格的数学定义与证明中完成。20世纪70、80年代，信息论处于理论发展期。由于香农理论的阐明与通信技术的发展，信息论的研究范围日益扩大，这一时期发展的主要体现在“率失真理论”与“多用户信息论”方面。20世纪90年代前后，信息论得到了迅速发展，其主要特点是理论的成功应用与多学科结合，并且在IT领域等多个领域取得显著成就。 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科，是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。它主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。通信的根本目的是将信息有效而可靠的从信源传到信宿。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息科学是以信息为研究对象的独立学科，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具的研究信息运动规律和应用方法，由信息论、控制论、计算机理论、人工智能理论和系统论相互渗透、相互结合而成。由于信息的广泛性与普遍性，它独立于其他自然科学与社会科学中的各门学科。 信息技术是主要用于管理和处理信息所采用的各种技术的总称，它主要应用计算机科学
《信息论与编码》课程教学大纲、课程基本信息 二、课程内容及基本要求 第一章绪论 课程内容：
1 ?信息论之父--香农；信息论与香农信息论的形成与发展；香农信息论的中心 问题及其局限性； 2．信息、消息、信号、信息的本质、信息的广义性； 3．通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1．了解信息论之父---Shannon（香农）和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2．理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3．熟悉通信系统的基本模型及各模块的主要功能。 本章重点香农信息论的中心问题、通信系统模型 本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章信源、信息量和信息熵 课程内容： 1．无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源； 2．非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息； 3．熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4．数据处理中信息的变化、连续信源熵；5．凸函数、互信息量的凸性，冗余度。 基本要求： 1．了解并掌握信源的分类与特点； 2．理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均
互信息之间的关系； 3．理解马尔可夫信源的概念、理解离散序列信源熵的概念； 4．理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质； 5．理解凸函数的含义和性质；了解凸函数在信息论中的应用。 本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质 本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章信源编码 课程内容： 1．编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2．无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3．限失真信源编码；常用信源编码--- 游程编码、算术编码、预测编码、变换编码。 基本要求： 1．理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用； 2．理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编 码的特点与编码原理； 3．掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费 诺编码原理；掌握哈夫曼编码原理； 4．了解常用限失真信源编码方法—算术编码、游程编码、预测编码及变换编码的编码原理。
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
滨江学院 《信息论与编码》课程论文题目香农编码及其应用改善 院系电子工程系 专业班级通信班 学生姓名 学号 教师杨玲 成绩 二Ｏ一四年十二月二十二日
香农编码及其应用改善 摘要：香农编码作为变长信源编码的重要方法之一，具有重要的理论指导意义，但其在实际应用中存在效率较低的缺点。本文对香农编码方法进行阐述，及运用MATLAB实现香农编码操作，并找出香农编码的不足，针对其缺陷，通过判断码字之间是否互为前缀来确定码字的方法对其编码算法进行了优化，给出了优化算法的实现步骤。最后，通过具体实例分析得出本文提出的改善算法能有效地提高编码效率。 关键词：香农码方法；MATLAB；编码效率；优化编码；
引言：1948年，美国工程师香农在贝尔实验室杂志上发表了长文《通讯的数学原理》他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农编码理论揭示了在通信系统中，采用适当的编码后能够实现高效率和高可靠地传输信息的规律，并给出了相应的信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。 在多媒体数据的传输和存储过程中，为了确保通信的顺利进行，必须要通过信源编码技术必须对多媒体信息进行压缩处理。香农编码技术作为变长信源编码的重要方法之一，具有重要的理论指导意义。但由于在香农编码的过程中先限定每个码字的码长，以至于在码字的选取中是以每个码字的码长作为先决条件而不考虑各个码字之间的相关性，因此编出的码字往往存在较大的冗余，影响了整个通信系统的传输效率。就这一缺陷，本文提出了通过剔除先限定每个码字的码长这一过程，通过判断码字之间是否互为前缀来确定码字的方法对其编码算法进行了改善。 1.香农编码的方法 在写香农编码之前先简单介绍下信源编码： 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。由于这些定理都要求符号数很大，以便其值接近所规定的值，因而这些定理被称为极限定理。一般称无失真信源编码定理为第一极限定理；信道编码定理（包括离散和连续信道）称为第二极限定理；限失真信源编码定理称为第三极限定理。完善这些定理是香农信息论的主要内容。 信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码地宫里，前者是可逆编码的基础。可逆是指当信源符号转换成代码后，可从代码无失真的恢复原信源符号。当已知信源符号的概率特性时，可计算它的符号熵，这表示每个信源符号所载有的信息量。编码定理不但证明了必定存在一种编码方法，可使代码的平均长度可任意接近但不低于符号熵，而且还阐明达到这目标的途径，就是使概率与码长匹配。无失真编码或可逆编码只适用于离散信源。本节讨论离散信源编码。首先从无失真编码定理出发，重点讨论以香农码为代表的最
信息论与编码课程论文 电子邮件安全与密码学的应用 刘畅，200900840179 山东大学威海分校机电与信息工程学院，威海 264209 摘要：本文分析了传统电子邮件系统存在的安全性问题，探讨应用密码技术采弥补这些安全漏洞，并且绍了在安全电子邮件系统中使用的密码技术。 关键词：RSA；PGB；PEM 1、概述 随着计算机技术和网络技术的迅速发展，电子邮件的应用也越来越广泛．成为网络牛活中重要的组成部分，大有取代传统邮件之势。作为一种新的信息传递技术，电子邮件以其简单、快捷、方便的优势被人们所接受和喜爱。但是也存在一些问题妨碍了它的推广。其中关键之一就是电子邮件的信息安全。由于电子邮件技术在设计之初是为了科学家之间的通信方便，所以并来考虑信息安全因素。但是髓着时代的发展。尤其是电子商务的速成长。作为其沟通手段的电子邮件的安全性问题就不得不受到高度重视。人们很自然的想到把已经成熟的密码技术商用于电子邮件系统。密码技术就是对信息进行重新编码。从而达到隐藏信息内容使非法用户无法获取真实信息内容的一种手段。本文就浅述一下密码技术安全电子邮件中的应用。 2、密码学简介 2.1、加密的历史 作为保障数据安全的一种方式，数据加密起源于公元前2000年。埃及人是最先使用特别的象形文字作为信息编码的人。随着时间推移，巴比伦，希腊等都开始使用一些方法来保护他们的书面信息。对信息进行编码曾被Julias Caesar（恺撒大帝）使用，也曾用于历次战争中，包括美国独立战争，美国内战和两次世界大战。最广为人知的编码机器是German Enigma机，在第二次世界大战中德国人利用它创建了加密信息。此后，由于Alan Turing 和Ultra计划及其他人的努力，终于对德国人的密码进行了破解。当初，计算机的研究就是为了破解德国人的密码，当时人们并没有想到计算机给今天带来的信息革命。随着计算机的发展，运算能力的增强，过去的密码都变的十分简单了。于是人们又不断地研究出了新的数据加密方式，如私有密钥算法和公有密钥算法。可以说，是计算机推动了数据加密技术的发展。 2.2、密码学的发展 密码学的发展可以分为两个阶段。第一个阶段是计算机出现之前的四千年（早在四千年前，古埃及就开始使用密码传递消息），这是传统密码学阶段，基本上靠人工对消息加密、传输和防破译。第二阶段是计算机密码学阶段，包括： ①传统方法的计算机密码学阶段。解密是加密的简单逆过程，两者所用的密钥是可以简单地互相推导的，因此无论加密密钥还是解密密钥都必须严格保密。这种方案用于集中式系统是行之有效的。 ②包括两个方向：一个方向是公用密钥密码（RSA），另一个方向是传统方法的计算机密码体制——数据加密标准（DES）。
《信息论与编码》课程论文 ——通过信息论对已有知识产生的新认识 马赛 1143031014 《信息论与编码》课程是通信专业的一门基础课。其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。 通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。 在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。下文中，列举了两个问题，同时使用信息论的角度去进行解释。 一、计算机的存储容量与信息量的联系 当今的计算机已经十分普及。存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？ 这是计算机科学的基本知识：“8 bit = 1 byte”。bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？ 在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。 我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。信息的一种解释是：对于不确定性的消除。信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。这是香农信息论对于信息量的定义。 计算机存储的依然是信息，只是信息的存储形式是01二进制数字。如果说计算机中的bit只是二元数字的话，那么这个单位就丧失了“信息”这个定义了。 用户通过互联网下载各种资料，下载的资料需要占用本地的存储空间，这是一个众所周知的例子。其实这个过程就是一个消除不确定性的过程。我们一般常识中的“空”硬盘，实际上是没有存储信息，而空间就在那里，空间中的信息有不确定，有不确定度；写入信息，实际上就是在消除不确定性，让空间中的信息确定，让其有序。这就是一种典型的信息传递过程。 计算机是2元存储结构，一个二进制符号代表1bit，根据实际计算，一个二进制符号的最大信息量即H0(X) = log22 = 1bit，这是一个将符号等同于无记忆的，每个符号之间没有联系，达到了信息量的最大值。这是最为简化的处理结果，也是最为可行的处理结果。如果严格按照信息论的角度去分析，其实每个符号之间是有联系的——各种编码、指令，如果01只是随机出现，那么只是一盘散沙。当然这是严格的理论解释，如果实际应用到存储信息的计量，那么将是不可行，计算机界的先驱是非常有远见的。 二、关于称硬币问题的思考
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
Turbo码编码与译码方法 一、前言： Turbo码自1993年被提出以来，就以其优异的纠错性能而备受关注，并被主要通信标准所采纳。Turbo码是用短码构造等效意义的长码，以达到长码 的纠错性能而减少解码复杂度。在强噪声低洗澡比的条件下，如E b/N0=0.7dB， 采用编码效率R=1/2的Turbo码，经过18次迭代解码后，仍然具有极低的误 码率。Turbo码得这一特性对于强噪声环境下数字通信与数字信号传输具有重 要的应用价值。Turbo码的发现，标志着信道编码理论与技术的研究进入了一 个崭新的阶段，对现代编码理论的发展起着重要的作用。 二、Turbo码的编码原理： Turbo码编码器由两个递归系统卷积吗编码器(RSC1和RSC2)通过一个交织器并行级联而成，编码后经过删除或复用，产生不同码率的码字，进入传输 信道。Turbo码编码器结构框图如图1所示，信息序列d={d1,d2,…d N}经过N 位交织器，形成一个新序列 d‘={d1’,d2’,…,d N’}(长度与内容没变，但比特位置经过重新排列)。d和d‘分 别传送到两个分量码编码器（RSC1和RSC2）。一般情况下，这两个分量码编 码器结构相同，生成序列X1p和X2p。为了提高误码率，序列X1p和X2p需要经过 删除器，采用删除技术从这两个校验序列中周期地删除一些校验位，形成校验 位序列X P与编码序列u（为方便表述，也用X S表示）经过复用，生成Turbo 码序列。例如，假如图中两个分量编码器的码率均是1/2,为了得到1/2码率 的Turbo码，可以采用这样的删除矩阵：P=[10,01]，即删除来自RSC1的校验 序列X1p的偶数位置比特，与来自RSC2的校验序列X2p的奇数位置比特。 S X 图1 交织器在Turbo码中起关键作用。表面上看，它仅仅是将信息序列中的N个比特的位置进行随机置换，实际上，它很大程度上影响了Turbo码的性能。通过随机交织，使得编码序列在长为2N和3N(不使用删除)比特的范围内具有记忆性，从而有简单的短码得到近似长码。当交织器充分大时，Turbo码就具有近似于随机长码的特性。 三、Turbo码的译码原理：
信息论与编码应用报告互信息技术在数字图像配准中的应用 专业班级：电子信息工程 姓名： 学号：201 时间：2014年6月9日 指导老师： 2014年6月9日
目录 摘要： (1) Abstract： (2) 前言 (3) 1 概述 (4) 1.1 互信息与信息论 (4) 1.2 数字图像配准 (5) 1.2.1 数字图像配准的介绍 (5) 1.2.2 数字图像配准的方式 (5) 1.2.3 数字图像配准的发展 (6) 2 配准方法 (7) 2.1 变换和插值模型 (7) 2.2 特征点的提取 (8) 2.3 多元互信息 (11) 2.4 优化算法 (12) 2.4.1 编码方式 (12) 2.4.2适应度表示 (12) 2.4.3轮盘赌法和最优保存策略 (12) 3 互信息技术在图像配置中的应用 (13) 3.1 Harris角点后的CT图和PET图 (14) 3.2 配准过程及结果 (14) 4 总结 (14) 参考文献： (16)
互信息技术在数字图像配准中的应用 信息与计算科学专业 指导教师 【摘要】：医学图像配准技术已经被应用于心脏病诊断和包括脑瘤在内的各种各样的神经混乱诊断研究中。图像配准是使两幅图像上的对应点达到空间上一致的一个过程。本文介绍了一种基于最大互信息原理的图像配准技术。并针对基于最大互信息图像配准的不足，研究了基于Harris角点算子的多模态医学图像配准。在计算互信息的时候，采用部分体积插值法计算联合灰度直方图。在优化互信息函数的时候采用了改进的遗传算法将配准参数收敛到最优值附近。实验结果表明本方法具有较高的配准精度和稳定性。 【关键词】：图像配准互信息 Harris角点算子部分体积插值遗传算法 前言 互信息是信息论的一个基本概念，是两个随机变量统计相关性的测度。Woods用测试图像的条件熵作为配准的测度，用于PET 到MR 图像的配准。Collignon 、Wells[1] 等人用互信息作为多模态医学图像的配准测度。以互信息作为两幅图像的相似性测度进行配准时，如果两幅基于共同解剖结构的图像达到最佳配准时，它们对应的图像特征互信息应为最大。最大互信息法几乎可以用在任何不同模式图像的
《信息论与编码》期末考察报告 题目JPEG编码 学生姓名蒲亚洁 学号20102334916 院系电子工程 专业通信工程 二Ｏ一三年一月八日
JPEG编码 蒲亚洁 滨江学院电子工程系通信工程专业10级3班 摘要：本文介绍了JPEG。JPEG是一种针对相片影像而广泛使用的一种失真压缩标准方法。JPEG 标准指定了一系列实现静态图像压缩编码的方法,这些方法的选择决定于具体应用的要求及性能价格比的考虑。这些方法基本上可以分为两种：一种是采用以离散余弦变换(DCT)为基础的有损压缩算法，另一种是采用以预测技术为基础的无损压缩算法。使用有损压缩算法时在压缩比为25﹕1 的情况下压缩后还原的图像与原始图像相比较非图像专家难以找到它们的区别因此得到了广泛的应用。 JPEG采取多种编码方式，包含有行程编码(Run Length Coding)和哈夫曼(Huffman)编码，有很高的压缩比。在编码前，先对数据进行分块，离散余弦变换（DCT）及量化，保留能量大的低频信号，丢弃高频信号以达到压缩。解码时，进行熵解码，反量化，反离散余弦变换（IDCT）。 关键词：有损压缩算法；无损压缩算法；失真压缩标准方法；哈夫曼编码;有损压缩；JPEG Abstract：This paper introduced JPEG.JPEG is a widely used for photo image of a standard method for compression distortion. JPEG standard specifies a series of static image compression coding method, these methods of selection determines the specific application requirements and performance
信息论基础理论与应用考试题 一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。 （考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q
（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。 （考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量） 二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无 记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则 称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力 劣于分组码。（错）（考点：卷积码的纠错能力） 三、名词解释（每题3分，共12分） 1 .信源编码
吉林建筑大学 电气与电子信息工程学院信息理论与编码课程设计报告 设计题目：哈夫曼编码的分析与实现专业班级：电子信息工程101 学生姓名： 学号： 指导教师：吕卅王超 设计时间：2013.11.18－2013.11.29
一、设计的作用、目的 《信息论与编码》是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一，同时也是对课堂所学理论知识的巩固和补充。其主要目的是加深对理论知识的理解，掌握查阅有关资料的技能，提高实践技能，培养独立分析问题、解决问题及实际应用的能力。 通过完成具体编码算法的程序设计和调试工作，提高编程能力，深刻理解信源编码、信道编译码的基本思想和目的，掌握编码的基本原理与编码过程，增强逻辑思维能力，培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力，逐步熟悉开展科学实践的程序和方法 二、设计任务及要求 通过课程设计各环节的实践，应使学生达到如下要求： 1. 理解无失真信源编码的理论基础，掌握无失真信源编码的基本方法； 2. 掌握哈夫曼编码/费诺编码方法的基本步骤及优缺点； 3. 深刻理解信道编码的基本思想与目的，理解线性分组码的基本原理与编码过程； 4. 能够使用MATLAB 或其他语言进行编程，编写的函数要有通用性。 三、设计内容 一个有8个符号的信源X ，各个符号出现的概率为： 编码方法：先将信源符号按其出现的概率大小依次排列，并取概率最小的字母分别配以0和1两个码元（先0后1或者先1后0，以后赋值固定），再将这两个概率相加作为一个新字母的概率，与未分配的二进制符号的字母重新排队。并不断重复这一过程，直到最后两个符号配以0和1为止。最后从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即为对应的码字。 哈夫曼编码方式得到的码并非唯一的。在对信源缩减时，两个概率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在缩减中的排序将会导致不同码字，但不同的排序将会影响码字的长度，一般讲合并的概率放在上面， 12345678,,,,, ()0.40.180.10.10.070.060.050.04X x x x x x x x x P X ????=????????
信息科学技术概论课程报告 姓名: 葛坤 专业: 11级电子信息工程A班 学号: 1115102016 日期2013年3月1日—2013年4月26日
一、研究内容 信息科学 信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。 信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。 信息科学技术主要研究信息的产生、获取、存储、传输、处理及其应用。其中以微电子、计算机、软件、通信讯技术为主导，微电子是基础，计算机及通信设施是载体，而软件是核心，是计算机的灵魂。 信息，既是信息科学的出发点，也是它的归宿。具体来说，信息科学的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。 信息概念 信息是人类对自然世界的了解的物化形式，信息的概念可以在两个层次上定义： 1、本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部联系的状态和方式。 2、认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。 信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。 信息的主要特征有：可量度、可识别、可转换、可存储、可处理传递、可再生、可压缩、可利用、可共享、主客体二重性等。 信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。 数据、信息、知识和智慧 数据是未加工过的“信息”； 信息通过将事实和给定的语境关联而导出； 知识将某语境中的信息和在不同语境中得到的信息相关联； 智慧是从完全不同的知识导出的一般性原理。 信息论概念 信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。 信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，
香农信息论的基本理论探究 制作者：陈喆指导老师：杜奕 【内容摘要】：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。 【关键词】：平均自信息信道容量信源编码霍夫曼码
1211()()log()q q i j i j i j H X X P a a a a ===-∑∑ 此联合熵表明原来信源X 输出任意一对可能的消息的共熵，即描述信源X 输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用1122() H X X 作为二维离散平稳信源X 的信息熵的近视值。 除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源是一种非常重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件： （1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。 （2） 信源某l 时刻所处的状态由当前的输出符号和前一时刻（l -1）信源的状态唯一决定。 马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。第l 时间信源输出什么符号，不但与前一（l -1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是： 121()lim ()N N H H X H X X X N ∞∞→∞== . 二．平均互信息 信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。 根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。 为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系： (|)(|)(|)(1,2,,;1,2,,)j i j i P y x P y b x a P b a i r j s ====== 传递概率所表达的意思是，在信道当输入符号为a ，信道的输出端收到b 的概率。 我们知道，信道输入信源X 的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性。即信道疑义度： ,1(|)()log (|)X Y H X Y P xy P x y =∑ 这个信道的疑义度是由于干扰噪声引起的。前面我们看到了输出端接收到输出符号前关于变量X 的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量 (;)()(|)I X Y H X H X Y =-