第四章 信道及其容量

信道及其容量研究内容：根据数学模型研究信道的传信能力； 信道容量的计算。

一、信道定义及其分类 1．信道定义狭义信道和广义信道 2．信道分类离散信道，数字信道；连续信道，模拟信道；输入输出为连续变量； 半连续信道；如输入离散输出连续信道； 有记忆信道； 无记忆信道； 两端信道（两用户）； 多端（多用户）信道； 恒参信道和随参信道； 对称信道和非对称信道。

二、离散无记忆信道及其容量 1．离散信道输入：X=｛0，1，…，K-1｝，概率分布：｛Q k ｝, 输入字母序列：12(,,,)N x xx x = ，n x X ∈，1n≤N≤输出：Y=｛0，1，…，J-1｝，输出字母序列：12(,,,)N y yy y = ，1n≤N≤，nyY∈转移概率：P(y/x)=P(y 1,y 2,…,y N / x 1,x 2,…,x N ) 2.离散无记忆信道DMC若离散信道对任意长为N 的输入和输出序列有：P(y/x)=1(/)Nnn n P yx =∏则称它为离散无记忆信道。

记为DMC ，｛X,P(y n /x n ),Y ｝。

特点：任何时刻信道输出只与该时刻信道输入有关，而与以前的输入无关。

3．平稳离散无记忆信道（恒参） 特点：P(y n =j/x n =k)=P(y m =j/x m =k) 4. DMC 容量信道容量定义：C={}max k Q I(X;Y),Q k 为最佳分布。

三、几个定理1．设Q N (x)时DMC 的N 长输入字母序列的联合分布，X N 和Y N 分别表示长为N 的输入和输出序列的集合，X n 和Y n 分别表示第n 个输入和输出字母的空间，则 I(X N ; Y N)≤1(;)Nn I Xn Yn =∑2. 输入概率矢量Q={Q 0,Q 1,…,Q K } 达到转移概率为{P(j/k)}的DMC 的容量C 的充要条件是I(x=k ；Y)=C 对所有k,其Q k >0 I(x=k ；Y) ≤C 对所有k,其Q k =0其中I(x=k ；Y)是信道输入x=k 时，关于信道输出一个字母的平均互信息，即 I(x=k ；Y)=(/)(/)log(/)i jip j k p j k Q p j i ∑∑四、几个定义1．若信道转移概率矩阵P 中所有行失都是第一行的一种置换就称信道关于输入为对称的。

4.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 它们通过一干扰信道，信道输出端的接收符号集为Y = { y1, y2 }，信道转移概率如题图4.1所示。

求：(1) 信源X 中事件x 1和事件x 2分别含有的自信息； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息。

解：信道转移矩阵为：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡414361651)bitx p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(2211=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 322.02.04/3log )()/(log);( 093.08.04/1log )()/(log );( 263.02.06/1log )()/(log );( 059.08.06/5log )()/(log );(2.0414.0616.0)/()()/()()(8.0434.0656.0)/()()/()()(2222212112212211111122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)bity p y p Y H bitx p x p X H jj j ii i 722.0)2.0log 2.08.0log 8.0()(log )()( 971.0)4.0log 4.06.0log 6.0()(log )()(=+-=-==+-=-=∑∑4)∑∑-=iji j i j i x y p x y p x p X Y H )/(log )/()()/(5/61/4 3/4 1/6 1x2x 2y1y 题图 4.1bitY H X Y H X H Y X H Y X H Y H X Y H X H bit964.0722.0715.0971.0 )()/()()/()/()()/()( 715.0 43log 434.041log 414.061log 616.065log 656.0 =-+=-+=∴+=+=⎪⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=5)bit Y X H X H Y X I 0075.0964.0971.0)/()();(=-=-=4.2 设有扰离散信道的输入端是以等概率出现的A, B, C, D 四个字母。

第4章 离散信道及其容量4.1节离散无记忆信道（DMC, Discrete Memoryless Channel ）什么是 “信道”？通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地，即信宿（sink ）。

但什么是“信道”？Kelly 称信道是通信系统中“不愿或不能改变的部分”。

比如CDMA 通信中，设备商只能针对给定的频谱范围进行设备开发，而运营商可能出于成本的考虑，不愿意进行新的投资，仍旧采用老的设备。

通信是对随机信号的通信，因此信源必须具有可选的消息，因此不可能利用一个sin(·)信号进行通信，而是至少需要两个可供发射机进行选择。

一旦选择了信息传输所采用的信号，信道决定了从信源到信宿的过程中信号所受到的各种影响。

从数学上理解，信道指定了接收机接收到各种信号的条件概率(conditional probability)，但输入信号的先念概念（prior probability ）则由使用信道的接收机指定。

如果只考虑离散时间信道，则输入、输出均可用随机变量序列进行描述。

输入序列X 1,X 2,……是由发射机进行选择，信道则决定输出序列Y 1, Y 2,……的条件概率。

数学上考虑的最简单的信道是离散无记忆信道。

离散无记忆信道由三部分组成：（1） 输入字符集A ={a 1, a 2, a 3,…}。

该字符集既可以是有限，也可以是可数无限。

其中每个符号a i 代表发射机使用信道时可选择的信号。

（2） 输出字符集B={b 1, b 2, b 3,…}。

该字符集既可以是有限，也可以是可数无限。

其中每个符号bi 代表接收机使用信道时可选择的信号。

（3） 条件概率分布P Y |X (·|X )，该条件分布定义在B 上，其中X ∈A 。

它描述了信道对输入信号的影响。

离散无记忆的假设表明，信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。

或者：1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=，n =1,2,3….Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。

第四章离散信道及其容量首先让我们来介绍信道的定义：信道是信息传输的媒介或者通道，它有输入端与输出端，其中输入端输入信息，而输出端输出信息。

下面我们要根据信道传输的信息的特点与信道的输入端与输出端的特点来对信道进行分类：1：信息可分为离散与连续两种，根据信息的这一特点，可以把信道分为：)a离散信道：输入与输出的信息都是离散的信道。

)b连续信道：输入与输出的信息都是连续的信道。

)c半连续信道：输入端信息与输出端信息中有且仅有一端是连续信息的信道。

2：输入端与输出端均既可以只有一个接口，也可以有多个接口，根据信道的这一特点，我们可以把信道分为：)a多元接入信道：多个输入端的信息在一个输出端输出的信道（如卫星通信系统可以同时接收多个地面站的信息）。

)b广播信道：把一个输入端的信息在多个输出端输出的信道（如卫星可以同时把信息发送给多个地面站）。

一般我们把一个信源或者一个信宿称为一个用户，如果整个信道中有三个或三个以上的用户，我们称该信道为多端信道（多用户信道），这样多元接入信道与广播信道都称为多端信道。

而只有一个信源与信宿的信道称为两端信道（两用户信道）。

要注意的是即使信息在传输的过程中没有受到干扰，输出的信息也并不一定与输入的信息是完全一样的（从这个角度来讲，信道不仅具有传输信息的功能，还具有信息转换的功能，如正在研究能在大型会议上使用的中英文翻译器可看作这样的一个信道）。

现在我们具体来研究信道（我们在这里主要考虑的是只有一个输入端与一个输出端的离散信道，而且我们不考虑信息的转换功能）：首先我们要提出一个问题：我们应该从哪个角度来研究信道？我们不会从一个信道单位时间内传输多少个二元码（或别的码）这个角度来研究信道，因为这取决于信道的硬件。

那么我们应该从哪个角度来考虑信道呢？我们知道信息在信道中传输的时候是有可能发生传输错误的，而这会影响信息的传输速度。

举个例子说明：设信道传输的不同符号只有两个：0与1，信道在传输0与1的时候错误概率均为01.0，为了降低传输的错误概率到可以忽视不计，我们就需要在信道传输前在信息中加一些重复码，这样肯定会在降低错误概率的同时降低了传输的速度。