07-信道容量解析

信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

信道容量研究通信的科研人员总是逃不过信道容量的计算。

而且会经常使用到C=B\mathrm{Log(1+SNR)}这个公式。

所以这个信道容量到底是什么意思呢，到底是怎么来的？所以信道容量的定义是什么，怎么推导、计算，实际意义又是什么？信道容量有两种:香农容量(遍历容量)和中断容量。

香农容量信道容量是在不考虑编解码延时和复杂度的情况下，误码率趋近于零的最高传输速率。

通道容量是一个上限。

如果要以高于这个的速率传输，就要付出误码率的代价。

香农是这样描述信道容量的:存在一个输入分布，可以最大化传输信息时的互信息。

这个最大互信息就是信道容量。

至于香农为什么可以这样定义，已经严格证明了，这是信息论的内容，后面再说。

互信息那么什么是互信息(这里默认理解为信息熵)？首先互信息是描述一个信息传递过程的一个量，用来刻画这个传输过程传输了多少有价值的信息。

比如说，你暗恋一个姑娘，你想去告白但是你很忐忑，成功了就很棒，失败了可能连朋友都做不成，所以H(X)就表示这种不确定性。

有一天你终于鼓起勇气给他发告白了，正常情况下对方会回复你，可能是“你是个好人”或者“那我们明天一起去看电影吧”或者给你一个尼克杨表情包，所以互信息就是用来刻画这条携带了多少信息量。

显然“好人”和“电影”这两个信息终究是给了你一个答案，解除了你心中的不确定性，携带的信息量就是你心中本来的不确定性。

但是如果他把你当备胎，回复你一个表情包，当然表情包也是可以看出来一点点她对你的态度，所以你心中的不确定性可能减小了一点，你能感受到对方的态度是有机会的还是没有机会的，所以这个表情包的携带的信息量可能就很小，因为虽然知道了一点对方的态度，但是你还是搞不清楚对方怎么想的。

X,Y分别表示两个随机变量，因为信源发送什么信息是一个随机事件，信息熵H(X)量化了信源的平均不确定性，而接收的信息经过信道的污染，也是随机的，所以H(Y)也量化了接收信息的平均不确定性。

虽然X,Y是两个变量，但是接收到的Y 肯定和X有点关系，并不是完全独立的，那么我们就可以根据Y猜X，能缩小一些X范围，能减小一些不确定性（互信息），这个互信息用I(X,Y)表示。

信道容量（Channel Capacity）无线传输环境中，如果发端和收端均采用单天线发送和接收信号，接收信号y的数学模型可以表示为y=hx+n \tag{1} ,其中h为无线信道, x为发送信号，n为高斯加性白噪声服从正太分布 \mathcal{C}(0,\sigma^2) 。

通信相关专业的学生应该知道香农公式：公式(1)表示的无线信道容量（Channel Capacity）为C=B\log_2\left(1+\frac{P_t|h|^2}{\sigma^2} \right),\tag{2}其中B为信号带宽， P_t 为信号发射功率。

相信很多人知道结论(2)，但是不明白它是怎么得到的。

下面将简单的阐述其推导过程。

阅读该过程之前，建议阅读“ 徐光宁：信息论（1）——熵、互信息、相对熵”中关于熵和互信息的定义。

对于接收端，发送信息x是一个随机变量，例如以概率p(x=a)发送x=a。

如果发送信息x对于接收端为一个确定值，那发送本身就没有任何意义。

因为发送信号x和噪声n 都是随机变量，接收信号y也是随机的。

可以引入熵来描述随机变量y所含的信息量，即H(y)=\int_y p(y)\log \frac{1}{p(y)}dy,\\其中p(y)为y的概率密度函数。

当某一时刻发送某一x后(x 此时是确定的), 收到的y的信息量为H(y|x)=\int_y p(y|x)\log \frac{1}{p(y|x)}dy,\\其中p(y|x)为y在给定x下的条件概率。

注意y因为是随机变量x和n的和，且x和n相互独立，其信息量为传输信号x和噪声n的信息量之和。

而y|x的随机性仅仅与噪声n有关，其信息量为噪声n的信息量。

互信息定义为I(x,y)=H(y)-H(y|x)\\ 。

其物理意义为随机变量y的信息量减去噪声n的信息量，等于x的信息量。

信道容量C指信道所实际传输信息量的最大值C=\max\limits_{p(x)} I(x,y) \tag{3}数学证明当x服从高斯分布 \mathcal{C}(0,P_t) 时，C in (3)取得最大值。

信道容量的公式信道容量是通信领域中的一个重要概念，它描述了在给定噪声条件下，信道能够可靠传输信息的最大速率。

信道容量的公式是由克劳德·香农（Claude Shannon）提出的，这个公式为 C = B * log₂(1 + S/N) ，其中 C 表示信道容量，B 表示信道带宽，S 表示信号功率，N 表示噪声功率。

咱们先来说说这个信道带宽 B 。

想象一下，信道就像是一条公路，带宽呢，就好比公路的宽度。

公路越宽，能同时通过的车辆就越多；同理，信道带宽越大，能同时传输的信息也就越多。

比如说，我们现在的 5G 网络，它的信道带宽可比之前的 4G 大多了，所以传输速度那叫一个快。

再来说说信号功率 S 和噪声功率 N 。

这俩就像是在公路上行驶的车辆，信号是正常行驶的车，噪声就是捣乱的车。

信号功率越大，就相当于正常行驶的车越多，信息传输就越顺畅；而噪声功率越大，就像捣乱的车越多，会干扰正常的信息传输。

我记得有一次，我家里的网络出了问题，看个视频老是卡顿。

我就琢磨着，这是不是信道容量不够啊。

于是我开始研究，发现原来是周围太多人同时使用网络，导致噪声功率增大，影响了我家的网络速度。

就好像公路上突然涌入了好多乱开的车，把路都堵了，我正常的信息传输也被堵住了。

那这个信道容量的公式有啥用呢？比如说，在设计通信系统的时候，工程师们可以根据这个公式来确定需要多大的带宽，以及如何控制信号功率和噪声功率，以达到期望的信道容量，保证信息能够快速、准确地传输。

在实际应用中，比如卫星通信。

卫星在太空中向地球发送信号，由于距离远，信号会衰减，噪声也会增加。

这时候，就得用信道容量的公式来计算，怎样调整参数，才能让我们在地球上能清晰地接收到卫星传来的信息，像看电视直播、导航定位啥的。

还有无线局域网，像咱们家里的Wi-Fi。

如果同时连接的设备太多，就可能会导致信道容量不足，网速变慢。

这时候，我们可以通过优化路由器的设置，增加带宽，或者减少周围的干扰源，来提高信道容量，让网络更顺畅。

通信基础知识｜信道容量写在前面：关于信道容量相关的定义与理论，最经典的是与AWGN信道相关的香农公式，随着移动通信系统的发展，通信信道越来越复杂，在香农公式研究的基础上实际上又有很多展开的研究，包括平坦衰落信道、频率选择性等信道的容量、又包括收发端是否已知信道信息条件下的容量。

本篇文章将相关的资料加以记录整理，供个人学习使用。

1 相关定义•香农容量（各态历经容量、遍历容量）：系统无误传输（误码率为0）下，能够实现的最大传输速率；香农定义该容量为在某种输入分布\(p_X(x)\)下，信息传递能够获得的最大平均互信息\(I(X;Y)\)，也即\(C_{\rmergodic}=\max_{p_X(x)}I(X;Y)\)；如果信道衰落变化很快，在一个编码块内，所有的信息会经历所有可能的衰落，那么此时通常用各态历经容量来定义capacity，为每种可能衰落下，信道容量的统计平均值•中断容量：系统在某个可接受的中断概率下的最大传输速率（注意信噪比越小，中断概率越大，于是可接受的最大中断概率对应着一个最小的信噪比），有\(P_{\rm outage}=P(\gamma<\gamma_{\min})\)；如果信道衰落变化较慢，在一个编码块内，信息经历相同的衰落，而不同编码块内信息经历不同的衰落，此时通常用中断容量来讨论capacity2 影响信道容量的因素•信道种类：AWGN信道、平坦衰落信道、频率选择性衰落信道、时间选择性衰落信道等•信道信息对于收发端是否已知：收发端已知信道衰落分布信息CDI、接收端已知信道实时的状态信息CSIR、收发端都已知信道实时的状态信息CSIRT3 SISO信道容量AWGN信道：最简单的加性高斯白噪声AWGN信道的（香农）信道容量，即是经典的香农公式：\(C=B\log(1+\frac{S}{N})\)，其推导见通信基础知识 | 信息熵与香农公式，注意两个条件：高斯分布的信源熵最大、信号与噪声不相关平坦衰落信道：对于平坦衰落信道模型\(y=hx+n\)来说，信道的抽头系数可以写为\(\sqrt{g[i]}\)，其中\(g[i]\)为每时刻的功率增益系数，信噪比此时考虑信道的衰落作用，为\(\gamma=\frac{S|h|^2}{N}\)•CDI：求解困难•CSIR：经过衰落的信道\(h\)的作用，相比AWGN信道，平坦衰落信道的信噪比会随之随机下降o各态历经容量：\(C_{\rmergodic}=B\int_0^{\infty}\log(1+\gamma)p(\gamma)d\gamma\)，由于平坦衰落信道中的信噪比\(\gamma\)相比AWGN信道都是下降的，不难判断有\(C_{\rm fading}<C_{\rm AWGN}\)o中断容量：\(C_{\rmoutage}=B\log(1+\gamma_{\min})\)，平均正确接受的信息速率为\(C_{\rm right}=(1-P_{\rmoutage})B\log(1+\gamma_{\min})\)•CSIRT：根据香农公式，信道容量与接收信号功率、噪声功率、信号带宽相关。

3. 信道容量信道容量指信道所能承受的最大数据传输速率，单位为bps或b/s。

信道容量受信道的带宽限制，信道带宽越宽，一定时间内信道上传输的信息就越多。

带宽指物理信道的频带宽度，即信道允许的最高频率和最低频率之差。

按信道频率范围的不同，通常可将信道分为窄带信道（0～300Hz）、音频信道（300～3400Hz）和宽带信道（3400Hz以上）三类。

信道容量有两种衡量的方法：奈奎斯特公式和香农公式。

(1) 奈奎斯特公式（Nyquist）对有限带宽无噪声信道，信道容量可用如下公式计算：其中，C —最大数据速率（信道容量）H —信道的带宽（Hz）N —一个脉冲所表示的有效状态数，即调制电平数例如，若某信道带宽为4kHz，任何时刻信号可取0、1、2和3四种电平之一，则信道容量为：奈奎斯特公式表明，对某一有限带宽无噪声信道，带宽固定，则调制速率也固定。

通过提高信号能表示的不同的状态数，可提高信道容量。

(2) 香农公式（Shannon）对有限带宽随机噪声（服从高斯分布）信道，信道容量可用如下公式计算：其中，H —信道的带宽（Hz）S —信道内信号的功率N —信道内服从高斯分布的噪声的功率S/N是信噪比，通常用表示，单位dB（分贝）例如，计算信噪比为30dB，带宽为4kHz的信道最大容量：由，得出S/N=1000 则，C=4k×log2(1+1000)≈40kbps表示无论采用何种调制技术，信噪比为30dB，带宽为4kHz的信道最大的数据速率约为40kbps。

4. 三个指标之间的关系从上面的分析可以看出，数据速率用于衡量信道传输数据的快慢，是信道的实际数据传输速率；信道容量用于衡量信道传输数据的能力，是信道的最大数据传输速率；而误码率用于衡量信道传输数据的可靠性。

信道带宽与信道容量的区别是什么？增加带宽是否一定能增加信道容量？带宽:信道可以不失真地传输信号的频率范围。

为不同应用而设计的传输媒体具有不同的信道质量，所支持的带宽有所不同。