第5章 信道编码

如果我们要对信源的N次扩展信源进行编码，也必须满足
qN rl ， 两边取对数得： l log q
l
N log r
N 表示平均每个信源符号所需的码符号个数。
5.2 等长码
例：对英文电报得32个符号进行二元编码，根据上述关系：
l log 32 5 log 2
我们继续讨论上面得例子，我们已经知道英文的极限 熵是1.4bit,远小于5bit，也就是说，5个二元码符号只携带 1.4bit的信息量，实际上，5个二元符号最多可以携带5bit 信息量。我们可以做到让平均码长缩短，提高信息传输率
0.8112
0.4715
若采用等长二元编码，要求编码效率 0.96 ，允许错误率
105 ，则： N 4.13107
也就是长度要达到4130万以上。
5.5 变长码
1、唯一可译变长码与及时码
信源符号 出现概率 码1
码2
码3
码4
s1
1/2
0
0
1
1
s2
1/4
11
10
10
01
s3
1/8
00
00
密码：是以提高通信系统的安全性为目的的编码。通常通过加 密和解密来实现。从信息论的观点出发，“加密”可视为增熵 的过程，“解密”可视为减熵的过程。
5.1 编码器
信源编码理论是信息论的一个重要分支，其理论基础是信源编 码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础。
5.1 编码器
信源编码：以提高通信有效性为目的的编码。通常通过压缩信 源的冗余度来实现。采用的一般方法是压缩每个信源符号的平 均比特数或信源的码率。即同样多的信息用较少的码率传送， 使单位时间内传送的平均信息量增加，从而提高通信的有效性。

第5章 信道编码技术
5.1.2 差错控制编码的基本思想 差错控制编码的基本实现方法是在发送端给被传输的
信息附上一些监督码元，这些多余的码元与信息码元之间 以某种确定的规则相互关联。在接收端按照既定的规则校 验信息码元与监督码元之间的关系，一旦传输发生错误， 则信息码元与监督码元的关系就受到破坏，从而使接收端 可以发现错误，进而纠正错误。因此，各种编码和译码方 法是差错控制编码所要研究的问题。 5.1.3 差错控制方式
距应满足
dmin≥t+e+1 (e>t)
(5-3)
第5章 信道编码技术 图 5-2 纠错码纠错能力图示一
第5章 信道编码技术 图 5-3 纠错码纠错能力图示二
第5章 信道编码技术
5.2.3 奇偶监督码 奇偶监督码(又称为奇偶校验码)是一种最简单的检错
码，它的基本思想是在n－1位信息码元后面附加一位监督 码元，构成(n，n－1)的分组码，监督码元的作用是使码长 为n的码组中“1” 的个数保持为奇数或偶数。码组中“1” 的个数保持为奇数的编码称为奇数监督码，保持为偶数的 编码称为偶数监督码。
的一种改进形式，它不仅对每一行进行奇偶校验，同时对每 一列也进行奇偶校验。如表5-2所示的例子采用的是偶校验。
发送时，该码是按11001100、00100111、00011110、 11000000、01111011、00100111、01101001的顺序发送，而 在接收端将所接收的信号以列的形式排列，可得表5-2所示 的阵列。
(5-5)
奇偶监督码最小码距为2，无论是奇校验还是偶校验，
都只能检测出单个或奇数个错误，而不能检测出偶数个错
误，因此检错能力低，但编码效率随着n的增加而提高。

23
（7）码的N次扩展码
假定某码C，它把信源 S {s1 , s2 ,, sq }中的符号
s i 一一变换成码C中的码字 Wi ，则码C的N次扩展 码是所有N个码字组成的码字序列的集合。
24
例如：若码 C {W1 ,W2 ,,Wq } 满足：si Wi ( xi1 , xi 2 ,, xil ), si S , xil X 则码C的N次扩展码集合 B {B1 , B2 , , Bq } ,其中：
为了解决这两个问题，就要引入信源编码和信 道编码。
2
一般来说，抗干扰能力与信息传输率二者相互矛盾。 然而编码定理已从理论上证明，至少存在某种最佳 的编码能够解决上述矛盾，做到既可靠又有效地传 输信息。 信源虽然多种多样，但无论是哪种类型的信源， 信源符号之间总存在相关性和分布的不均匀性，使 得信源存在冗余度。
q r
N
l
（5.2）
36
25
（8）惟一可译码
若任意一串有限长的码符号序列只能被惟一地 译成所对应的信源符号序列，则此码称为惟一可译 码（或称单义可译码）。否则就称为非惟一可译码 或非单义可译码。
若要使某一码为惟一可译码，则对于任意给定 的有限长的码符号序列，只能被惟一地分割成一个 个的码字。
26
例如：对于二元码 C1 {1, 01, 00}，当任意给定一串 码字序列，例如“10001101”，只可唯一地划分为 1,00,01,1,01，因此是惟一可译码； 而对另一个二元码 C 2 {0,10, 01}，当码字序列 为“01001”时，可划分为0,10,01或01,0,01，所以是 非惟一可译的。
i
N
Bi {Wi1 ,Wi2 ,,WiN }; i1 ,, i N 1,, q; i 1,, q N

第5章 信道编码原理
(1)信道按其输入／输出信号在幅度和时间上的取值是离 散或连续来划分,可分成三类，分别是数字信道 (DigitalChannel)或离散信道(DiscreteChannel)、模拟信道 (AnalogChannel)或波形信道(WaveformChannel)和连续信道 (ContinuousChannel)。
b1
a1 p(b1 a1)
P a2 p(b1 a2 )
b2
p(b2 a1)
p(b2 2 )
bs p(bs a1) p(bs a2 )
（5－2）
ar p(b1 ar ) p(b2 ar ) p(bs ar )
第5章 信道编码原理
式中：0 p(bj ai ) 1,i 1,2,...,r; j 1,2,...,s; 且
第5章 信道编码原理
(3)信道按其输入/输出信号之间的关系是否是确定关系 来划分，可分为有噪声信道和无噪声信道。一般来讲，信道输 入与输出之间的关系是一种统计依存关系，而不是确定关系。 这是因为信道中总存在某种程度的噪声。在某些情况下，若信 道中的噪声与有用信号相比很小可以忽略不计，则这时的信道 可以理想化为具有确定关系的无噪声信道。
(2)信道按其输入/输出之间关系的记忆性来划分,可分为 无记忆信道和有记忆信道两类。如果信道的输出只与信道该时 刻的输入有关而与其他时刻的输入无关，则称此信道是无记忆 的；反之,如果信道的输出不但与信道现时刻的输入有关，而 且还与以前时刻的输入有关，则称此信道为有记忆的，实际信 道一般都是有记忆的。信道中的记忆现象来源于物理信道中的 惯性元件,如电缆信道中的电感电容、无线信道中电波传布的 衰落现象等。
第5章 信道编码原理
因信道的输入有r种不同的输入符号，输出有s种不同的输