第6章 连续信源熵和信道容量

2.4 连续信源熵信源的数学模型信源的信息测度–随机变量、随机序列–简单离散信源：H(X)–离散无记忆信源：H ∞(X)–离散有记忆信源：H ∞(X)= H L (X)=H(X)离散信源≤H L (X) ≤H(X)复习输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。

连续信源输出的状态概率用概率密度来表示。

连续信源的数学模型(,)()()()1ba X ab p x p x p x dx ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦=∫并满足定义∫−=ba c dxx p x p X H )(log )()(1) 连续熵为相对熵，其值为绝对熵减去一个无穷大量(因为连续信源有无穷多个状态）2) 连续熵不具有非负性，可以为负值；4) 尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，因此，当分析其互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，因而不影响分析。

3) 连续熵不等于一个消息状态具有的平均信息量，其值是有限的，而信息量是无限的；连续熵连续变量的联合熵和条件熵222()()log ()(/)()log (/)(/)()log (/)c xyc xyc xyH XY p xy p xy dxdyH X Y p xy p x y dxdyH Y X p xy p y x dxdy=−=−=−∫∫∫∫∫∫连续熵(;)()(|)()(|)()()()C C C C C C C I X Y H X H X Y H Y H Y X H X H Y H X Y =−=−=+−平均互信息量–连续熵可为负值（连续熵的相对性所致）–可加性–平均互信息的非负性，对称性，信息处理定理)/()()/()()(Y X H Y H X Y H X H XY H ccccc+=+=连续熵的性质()()()()()()()()()()|||,(;)0(;)(;)(;)(;)c c c c c c c c c c c c c c c H X Y H X H Y X H Y H X YH Y X H Y H X Y H X H Y I X Y I X Y I Y X I X Z I X Y =+=+≤≤+≥=≤最大连续熵定理连续信源与离散信源不同，1)它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。

2.6连续信源的熵所谓连续信源就是指其输出在时间上和取值上都是连续的信源。

见图2.6.1。

各采样值的概率可用其概率分布密度函数来确定。

图2.6.2表示一个连续信源输出的幅度和其概率分布密度的关系。

设各种采样值之间无相关性，信源熵可写成：])(log[)(dx x p dx x p i ii ∑[例2.6.1]一连续信源，其输出信号的概率分布密度如图2.6.3所示，试计算其熵。

连续信源的熵不再具有非负性，这与离散信源显然不同。

同样可以定义两个连续变量的联合熵：⎰⎰-=dxdy xy lbp xy p XY H )()()(以及定义两个连续变量的条件熵；⎰⎰-=dxdy y x lbp xy p Y X H )/()()/( ⎰⎰-=dxdy x y lbp xy p X Y H )/()()/(连续信源的共熵、条件熵、单独熵之间也存在如下关系：)()()(Y H X H XY H +≤2.6.1三种特定连续信源的最大熵与离散信源不同，求连续信源的最大熵需要附加条件，常见的有三种。

1．输出幅度范围受限（或瞬时功率受限）的信源2．输出平均功率受限的信源 3．输出幅度平均值受限的信源 (1)限峰值功率的最大熵定理若代表信源的N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。

设N 维随机变量∏=∈Ni iib a X 1),( iia b>其均匀分布的概率密度函数为⎪⎪⎩⎪⎪⎨⎧-∉-∈-=∏∏∏===Ni i i Ni i i Ni i i a b x a b x a b x p 111)(0)()(1)(除均匀分布以外的其他任意概率密度函数记为)(x q ，并用[]X x p H c),(和[]X x q H c),(分别表示均匀分布和任意非均匀分布连续信源的熵。

在1)()(11112121==⎰⎰⎰⎰N b a b a N b a b a dx dx dxx q dx dx dxx p N NN N的条件下有[]⎰⎰-=1112)(log)(),(b a Nb ac dx dx x q x q X x q H NN⎰⎰⎰⎰⎰⎰+-=⎥⎦⎤⎢⎣⎡∙=111111121212)()(log)()(log)()()()(1log )(b a Nb a b a N b a b a Nb a dx dx x q x p x q dx dx x p x q dx dx x p x p x q x q NNNNN N令0,)()(≥=z x q x p z显然运用著名不等式1ln -≤z z 0>z 则]),([11)(log1)()()()(1log)(]),([1211121111X x p H a bdx dx x q x p x q dx dx a bx q X x q H c Ni i ib a Nb a b a N Ni i ib ac N N NN=-+-=⎥⎦⎤⎢⎣⎡-+--≤∏⎰⎰⎰∏⎰==则证明了，在定义域有限的条件下，以均匀分布的熵为最大。

信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。

对不同的输入概率分布，互信息一定存在最大值。

我们将这个最大值定义为信道的容量。

一但转移概率矩阵确定以后，信道容量也完全确定了。

尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。

我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。

其中必有一个试验信源使互信息达到最大。

这个最大值就是信道容量。

信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。

通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。

在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。

接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。

如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。

最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。

通信信道，发端X，收端Y。

从信息传输的角度看，通过信道传输了I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。

I该值与两个概率有关，p(x),p(y|x)，特定信道转移概率一定，那么在所有p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。

入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。

[3]X代表已传送信号的随机变量空间，Y代表已收到信号的随机变量空间。

代表已知X的情况下Y的条件机率。

我们先把通道的统计特性当作已知，p Y | X(y | x)就是通道的统计特性。

通信基础知识｜信道容量写在前面：关于信道容量相关的定义与理论，最经典的是与AWGN信道相关的香农公式，随着移动通信系统的发展，通信信道越来越复杂，在香农公式研究的基础上实际上又有很多展开的研究，包括平坦衰落信道、频率选择性等信道的容量、又包括收发端是否已知信道信息条件下的容量。

本篇文章将相关的资料加以记录整理，供个人学习使用。

1 相关定义•香农容量（各态历经容量、遍历容量）：系统无误传输（误码率为0）下，能够实现的最大传输速率；香农定义该容量为在某种输入分布\(p_X(x)\)下，信息传递能够获得的最大平均互信息\(I(X;Y)\)，也即\(C_{\rmergodic}=\max_{p_X(x)}I(X;Y)\)；如果信道衰落变化很快，在一个编码块内，所有的信息会经历所有可能的衰落，那么此时通常用各态历经容量来定义capacity，为每种可能衰落下，信道容量的统计平均值•中断容量：系统在某个可接受的中断概率下的最大传输速率（注意信噪比越小，中断概率越大，于是可接受的最大中断概率对应着一个最小的信噪比），有\(P_{\rm outage}=P(\gamma<\gamma_{\min})\)；如果信道衰落变化较慢，在一个编码块内，信息经历相同的衰落，而不同编码块内信息经历不同的衰落，此时通常用中断容量来讨论capacity2 影响信道容量的因素•信道种类：AWGN信道、平坦衰落信道、频率选择性衰落信道、时间选择性衰落信道等•信道信息对于收发端是否已知：收发端已知信道衰落分布信息CDI、接收端已知信道实时的状态信息CSIR、收发端都已知信道实时的状态信息CSIRT3 SISO信道容量AWGN信道：最简单的加性高斯白噪声AWGN信道的（香农）信道容量，即是经典的香农公式：\(C=B\log(1+\frac{S}{N})\)，其推导见通信基础知识 | 信息熵与香农公式，注意两个条件：高斯分布的信源熵最大、信号与噪声不相关平坦衰落信道：对于平坦衰落信道模型\(y=hx+n\)来说，信道的抽头系数可以写为\(\sqrt{g[i]}\)，其中\(g[i]\)为每时刻的功率增益系数，信噪比此时考虑信道的衰落作用，为\(\gamma=\frac{S|h|^2}{N}\)•CDI：求解困难•CSIR：经过衰落的信道\(h\)的作用，相比AWGN信道，平坦衰落信道的信噪比会随之随机下降o各态历经容量：\(C_{\rmergodic}=B\int_0^{\infty}\log(1+\gamma)p(\gamma)d\gamma\)，由于平坦衰落信道中的信噪比\(\gamma\)相比AWGN信道都是下降的，不难判断有\(C_{\rm fading}<C_{\rm AWGN}\)o中断容量：\(C_{\rmoutage}=B\log(1+\gamma_{\min})\)，平均正确接受的信息速率为\(C_{\rm right}=(1-P_{\rmoutage})B\log(1+\gamma_{\min})\)•CSIRT：根据香农公式，信道容量与接收信号功率、噪声功率、信号带宽相关。

高等数学1 信道容量
信道容量是指在给定的带宽和信噪比条件下，信道中最大可传输的信息量。

在高等数学中，通常用香农公式来计算信道容量。

香农公式为：
C = B * log2(1 + S/N)
其中，C表示信道容量，B表示信道的带宽，S表示信道传输
中的平均信号功率，N表示信道传输中的平均噪声功率。

该公式的含义是，信道容量与信道带宽成正比，与信噪比成对数关系。

当信噪比增大时，信道容量也会增大。

而当信噪比较小时，信道容量会接近于0，表示信号的信息无法可靠地传输。

需要注意的是，香农公式是基于理想条件下的计算，实际情况中可能会有噪声和其他因素的影响，因此实际传输的信道容量可能会小于理论值。