通信原理第八章
第八章离散信道及信道容量
信道，顾名思义就是信号的通道。图中位于调制器和解调器之间的信道指用来传输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为信道，这就是广义信道的概念。如图所示，由调制器，信道和解调器构成了一个广义编码信道。
编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
编码信道
图信道的定义
本章首先讨论离散信道的统计特性和数学模型，然后定量地研究信道传输的平均互信息及其性质，并导出信道容量及其计算方法。
离散信道的数学模型及分类
我们已知信源输出的是携带着信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。信道会引入噪声或干扰，它使信号通过信道后产生错误和失真。故信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。
离散信道的数学模型一般如图所示。图中输入和输出信号用随机矢量表示。输入信号X二，输出信号Y二，其中i二表示时间或空间的离散值。而每个随机变量X i和Y i又分别取值于符号集A =｛al,…r｝和B二｛bl,…,b s｝,其中r不一定等于s。图中条件概率P二描述了输入信号和输出信号的依赖关系，它由调制器、信道和解调器的性能共同决定。
图离散信道模型X
Y
根据信道的统计特性即条件概率P的不同，离散信道又可分
为三种情况。
无干扰信道。信道中没有随机性的干扰或者干扰很小，输出信号Y与输入信
号X之间有确定的--- 对应的关系。即，y =f
1 y=f 并且P 二｛0 yHf
有干扰无记忆信道。实际信道中常有干扰，即输出符号与输人符号之间无确
定的对应关系。若信道任一时刻输出符号只统计依赖于对应时刻的输人符号，而与非对应时刻的输入符号及其他任何时刻的输出符号无关，则这种信道称为无记忆信道。满足离散无记忆信道的充要条件是
P 二P 二riNi二1P
有干扰有记忆信道。这是更一般的情况，即有干扰又有记忆。实际信道往往
是这种类型。例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。这时信道的条件概率P不再满足式。
下面我们着重研究离散无记忆信道，并且先从简单的单符号信道人手。设单符号离散信
道的输入变量为X,可能取值的集合为｛al, a2,…,ar｝；输出变量为Y,取值于｛bl, b2,…,b s｝o并有条件概率
P 二P 二P i 二
这一组条件概率称为信道的传递概率或者转移概率。
因为信道中有干扰存在，若信道输入为x=a i时，输出是哪一个符号事先无法
确定。但信道输出一定是bl, b2,…,b s中的一个。即有
LP =1 i=
j=l
由于信道的干扰使输入的符号x,在传输中发生错误，所以可以用传递概率P)
□ □
输入和输出的联合概率为
P 二p P 二PP
其中P是信道传递概率，即发送为3 i,通过信道传输接收到为b j的概率。通常称为前向概率。它是由于信道噪声引起的，所以描述了信道噪声的特性。而P是已知信道输出端接收到符号为b j 而发送的输入符号为a i的概率，又被称为后向概率。
根据联合概率可得输出符号的概率
P 二工r i=lP P
根据贝叶斯定律可得后验概率
P =
平均互信息及平均条件互信息
在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关P P二P P Li=lP P
系以后，我们将深入研究在此信道中信息传输的问题。
损失炳和噪声炳
信道输入信号x的炳为
II =Eri=lP logP il
II是在接收到输出Y以前，关于输入变量X的先验不确定性
的度量，所以称为先验炳。
如果信道中无干扰，信道输出符号与输入符号一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。但一般信道中有干扰存在，接收到输出Y后对发送的是什么
符号仍有不确定性。那么，怎样来度量接收到Y后关于X的不确定性呢？接收到输出符号y二b j后，关于X的平均不确定性为r
II =LPlog
i=llP 二-工P log P
X
这是接收到输出符号b j后关于X的后验爛。后验炳在输出
y的取值范围内是个随机量，
将后验爛对随机变量Y求期望，得条件炳为
II =E[H]=EPH =LP LPlog
j=l
rsj二li二IIP
=E ZPlog
i=lj=llP
这个条件炳称为信道疑义度。它表示在输出端收到输出变量Y
后，对于输人端的变量X
尚存在的平均不确定性。它也表示信源符号通过有噪信道传输后所引起的信息量的损失，故也可称为损失炳。这个对X尚存在的不确定性是由于干扰引起的。如果是一一对应信道，那么接收到输出Y后，对X的不确定性将完全消除，则信道疑义度II 二0。由于一般情况下条件爛小于无条件炳，即有II
II表示在已知X的条件下，对于随机变量Y尚存在的不确定性。我们将H称
为噪声炳，或散布度，它反映了信道中噪声源的不确定性。
II =E SP log
i =lj =lr si P
平均互信息
根据上述，我们已知II代表接收到输出符号以前关于输入变
量X的平均不确定性，而
II代表接收到输出符号后关于输入变量X的平均不确定性。
可见，通过信道传输消除了一些不确定性，获得了一定的信息。所以定义
I=II- H
I称为X和Y之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于X
的信息量。根据式和式得
I 二工X,YP
根据炳的定义和表达式，可得以下关系
I=II- II
=H +11 一II
=H 一II
由此，可以进一步理解炳只是平均不确定性的描述，而不确定性的消除
才等于接收端所获得的信息量。
下面，我们观察二种极端情况的信道。
一种信道是输入符号与输出符号完全一一对应，即无噪信道。输入符号集
A ={al, a2, ???, a r},输出符号集
B ={bl, b2,…，br},它们的信道传递概率为
P 二{OiHjli二jP P
它表示输入符号和输出符号之间有一一对应关系。根据可推出0P ={1
由式和式计算得
II 二0
II 二0
信道中损失炳和噪声炳都等于零。所以，
I =11 =11
在此信道中，因为输入和输出符号一一对应、所以接收到输出符号Y后对于输入X不存在何不确定性。这时，接收到的平均信息量就是输人信源所提供的信息量。
第二种极端情况，信道输人端X与输出端Y完全统计独立，
即iHj i=j
P =P xex,yeY
P 二P xex, yeY
在这种信道中输入符号与输出符号没有任何依赖关系。接收
到Y后不可能消除输入端X
的任何不确定性，所以获得的信息量等于零。同样，也不能
从X中获得任何关于Y的信息量。因此，平均互信息I二0。
平均互信息特性
本节将介绍平均互信息I的一些特性。
1）平均互信息的非负性
离散信道输入概率空间为X ,输出概率空间为Y ,则I
20,当X和Y统计独立
时，等式成立。
这个性质告诉我们：通过一个信道获得的平均信息量不会是
负值。也就是说，观察一
个信道的输出，从平均的角度来看总能消除一些不确定性，
接收到一定的信息。除非信道
输入和输出是统计独立时，才接收不到任何信息。
2）平均互信息的极值性
I WH
因为信道疑义度II总大于零，所以平均互信息总是小于炳
IK只有当H =0,即信道中传输信息无损失时，等号才成立。
在一般情况下，平均互信息必在零和II值之间。
3)平均互信息的对称性
根据I的定义式可以证明，
I =1
I表示从Y中提取的关于X的信息量，而I表示从X中提取的关于Y的信息量，
它们是相等的。
4)平均互信息I的凸状性
平均互信息I是输入信号X的概率分布函数P和信道传递概率P的函数。关
于互信息I和P, P的关系我们有如下结论：
定理平均互信息I是信道输入信号的概率分布P的Q形凸函数。
例
8、，1,设二元对称信道的输入概率空间为［
所示。可以算出X0］二［P31］。而信道特性如图3 □二1 - 3 P = Cop□+ p=copD+W Dp
P = 3p+ pn=C0p4-CJ DpD
因此，II 二log log DpD)
1111 = p log+pDlog 因此，
I = log log □pD)
=H一n
在式中当信道转移概率P固定时，可得I是3的Q型凸函数，其曲线如图所示。
从图中可知，当二元对称信道的矩阵固定后，输入变量X的
概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输人变量X是等概率分布，即P二
P =2
定理意味着，当固定某信道时，选择不同的信源与信道连接，在信道输出端接
收到每个符号后获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信
源）,使输出端获得的平均信息量为最大。
信道容量及其一般计算方法
我们研究信道的目的是要讨论信道中平均每个符号所能传递的信息量，即信道的信息传输率R o由前已知，平均互信息I就是从信道输出符号Y后中获得的关于X的信息量。因此信道的信息传输率就是平均互信息。即
R =1 =11 - II p
其单位是比特/符号，而对应的输入信号概率分布称为最佳输入分布。若平均传输一个符号需要t秒钟，则信道单位时间内平均传输的最大信息量为
1C 二t m ax {1} t p
信道容量C与输入信源的概率分布无关，它只与信道的转移
概率有关。所以，信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。
如例中，二元对称信道的平均互信息I二II - II。由图看出，当3二3 □二2时，I取得最大值。因而平均互信息的极大值为
I =1- II
因此，二元对称信道的信道容量为
由此可见，二元对称信道的信道容量只是信道传输概率P的
函数，而与输入符号X的概率分布3无关。
下面我们讨论一些特殊类型信道的信道容量。
三类特殊信道容量
信道输人和输出间有确定的--- 对应关系的信道，称为无噪
无损信道。无噪无损信道的
疑义度H和信道的噪声爛H都等于零，所以
I =11 =H
因此，无噪无损信道的信道容量为
1 C=1 - II C=max Il=logr p
表明当信道输入等概分布时，信道的传输速率达到信道容
量。
另一类信道是输入一个X值对应有几个输出Y值，而且每个
X值所对应的Y值不重合，
如图所示。这类信道被称为有噪无损信道。在这类信道中，输入符号通过传输变成若
干输出符号，虽它们不是一一对应关系，但这些输出符号仍可分成互不相交的一些集合。所以接收到符号Y后，对发送的X 符号是完全确定的，即损失炳H二0,但噪声炳H H0。
X
无噪无损信
道有噪无损信道
图无损信道
因此这类信道的平均互信息为：
I =11
其信道容量
C=max H=logr p 比特/符号
第三类特殊信道如图所示。信道的一个输出值Y对应好几个
信道的输入，而且每个Y值所对应的X值不重合。这类信道被称
为有噪无损信道。
图无噪有损信道
这类信道的噪声炳II =0,而信道疑义度II H0。它的平均互信息是
I =11
信道容量为
C二max II=logs
假设一定能找到一种输入分布使输出符号Y达到等概率分
布。
对称离散信道的信道容量
离散信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。所谓对称性，就是指信道矩阵P中每一行都是由同一[pl, p2,
都是由同一[ql, q2,对称离散信道。
例如，信道矩阵
,P s ]集合的各元素的不同排列组成，并且每一列也
,q r ]集合的各元素的不同排列组成。具有这种对称性信道矩阵的信道称为
□ 1
□3OP =□
□1口口6
是对称离散信道。
1316
1613
1口口1
□26□□口
1口和P 二口口6
1口口口口13□口
1
31216
□ 3
1口6口口1口
3口口1口口2口
若输入符号和输出符号个数相同，都等于「且信道矩阵为
□□p ODp P =Qrl
p rl
p rip rlD
□□
rll □□
P
现已知输出Y的符号集共有s个符号，则II Wlog so只有当P 二s等概率分布）
时，H才达到最大值log So —般情况下，不一定存在一种输
入符号的概率分布P ,能使输出符号达到等概率分布。但对于对称离散信道，其信道矩阵中每一列都是由同一{ql, q2,…，qr} 集的诸元素的不同排列组成，所以保证了当输入符号是等概率分布，即P 二rY 一定也是等概率分布，这时II =log So即
1
1
ID
P =LP LP 二工口
r X X Y
□ 1
P =LP LP 二工口
□ r X X Y nni
P =LP LP 二工口
r X X Y □
由于信道矩阵的对称性，可推出
P 二P 二…二P
对于对称离散信道，当输入符号X达到等于等概率分布，则输出符号Y —定也达到等概率分布。
由此得对称离散信道的信道容量为
C=log s- H
例，强对称信道的信道矩阵是rXr阶矩阵，信道转移矩阵
为。根据式得强对称信道的信道容量为
C=log r- H
=log r++plogr- l=logr- log - II
式中P是总的错误传递概率，p□是正确的传递概率。
准对称信道的信道容量
若信道矩阵Q的列可以划分为若干个互不相交的子集Bk,即BinB2n-Bn=0 , BlUB2U-Bn=Y,由Bk 为列组成的矩阵Qk 是对称矩阵，则称信道矩阵Q所对应的信道为
p
p
准对称信道。例如信道矩阵□iQ3Pi=n
□1口口6
1
16
1]3
1
1313
1
16161D
□0、7
6口
□P2 二口1□口□0、2口3口
0、1口0、2
□□
0、1口0、7
都是准对称信道。在信道矩阵P1中Y可以划分为三个子集，由子集的列组成矩阵为
6
3
[61] , [1]。它们满足对称性，所以P1所对应的信道为准对称信道。同理P2可划
6
3
]和[]。
我们可以证明达到准对称离散信道信道容量的输入分布是等概分布准对称离散信道的信道容量为分为两个对称阵[
n
C=log r- II - SNklog Mk
k=l
其中r是输入符号集的个数，为准对称信道矩阵中的行元素。设矩阵可划分成
n个互不相交的子集。Nk是第k个子矩阵Qk中行元素之和，Mk是第k个子矩阵Qk中列元素之和。
例，设信道传输矩阵为
P=[
1一p- q
p
1
1一p- q
可表示成如图所示。根据式可计算得
Nl=l- q, N2=q Ml=l- q, M2=2q
因此，信道容量为
C=plogp- log + log
2
图例的信道模型
离散无记忆扩展信道及其信道容量
前几节讨论了最简单的离散信道，即信道的输入和输出都只是单个随机变量的信道。然而一般离散信道的输人和输出却是一系列时间离散的随机变量，即为随机序列。在离散无记忆信道中，输入随机序列与输出随机序列之间的传递概率等于对应时刻的随机变量的传递概率的乘积。
设离散无记忆信道的输入符号集输入符号集A二{al,…， ar},输出符号集B={bl,…，bs},信道矩阵为。则此无记忆信道的N次扩展信道的数学模型如图所示。
0 1=中，每一个随机变量Xi有r种可能的取值，所以随机矢
量X的可能取值有rN个。同理，随机矢量Y的可能取值有sN 个。根据信道无记忆的特性，可得対N次扩展信道的信道矩阵□n lin n 21D n =□□□□ n r N1
n 12
n 22 n r
N
2
□□ nr N S N □□
n IS □ n2S □□
N N
图离散无记忆信道N次扩展信道的信道矩阵
式中兀kh二P并满足
sN
S n k/i =1 =P
N
=np
i=l
例，求例中二元无记忆对称信道的二次扩展信道。
因为二次扩展信道的输入符号集为和输出变量X和Y的取值都是0或1,因此，二次扩展信道的输人符号集为