下载文档原格式
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
信道容量研究通信的科研人员总是逃不过信道容量的计算。
而且会经常使用到C=B\mathrm{Log(1+SNR)}这个公式。
所以这个信道容量到底是什么意思呢，到底是怎么来的？所以信道容量的定义是什么，怎么推导、计算，实际意义又是什么？信道容量有两种:香农容量(遍历容量)和中断容量。
香农容量信道容量是在不考虑编解码延时和复杂度的情况下，误码率趋近于零的最高传输速率。
通道容量是一个上限。
如果要以高于这个的速率传输，就要付出误码率的代价。
香农是这样描述信道容量的:存在一个输入分布，可以最大化传输信息时的互信息。
这个最大互信息就是信道容量。
至于香农为什么可以这样定义，已经严格证明了，这是信息论的内容，后面再说。
互信息那么什么是互信息(这里默认理解为信息熵)？首先互信息是描述一个信息传递过程的一个量，用来刻画这个传输过程传输了多少有价值的信息。
比如说，你暗恋一个姑娘，你想去告白但是你很忐忑，成功了就很棒，失败了可能连朋友都做不成，所以H(X)就表示这种不确定性。
有一天你终于鼓起勇气给他发告白了，正常情况下对方会回复你，可能是“你是个好人”或者“那我们明天一起去看电影吧”或者给你一个尼克杨表情包，所以互信息就是用来刻画这条携带了多少信息量。
显然“好人”和“电影”这两个信息终究是给了你一个答案，解除了你心中的不确定性，携带的信息量就是你心中本来的不确定性。
但是如果他把你当备胎，回复你一个表情包，当然表情包也是可以看出来一点点她对你的态度，所以你心中的不确定性可能减小了一点，你能感受到对方的态度是有机会的还是没有机会的，所以这个表情包的携带的信息量可能就很小，因为虽然知道了一点对方的态度，但是你还是搞不清楚对方怎么想的。
X,Y分别表示两个随机变量，因为信源发送什么信息是一个随机事件，信息熵H(X)量化了信源的平均不确定性，而接收的信息经过信道的污染，也是随机的，所以H(Y)也量化了接收信息的平均不确定性。
虽然X,Y是两个变量，但是接收到的Y 肯定和X有点关系，并不是完全独立的，那么我们就可以根据Y猜X，能缩小一些X范围，能减小一些不确定性（互信息），这个互信息用I(X,Y)表示。
信道容量（Channel Capacity）无线传输环境中，如果发端和收端均采用单天线发送和接收信号，接收信号y的数学模型可以表示为y=hx+n \tag{1} ,其中h为无线信道, x为发送信号，n为高斯加性白噪声服从正太分布 \mathcal{C}(0,\sigma^2) 。
通信相关专业的学生应该知道香农公式：公式(1)表示的无线信道容量（Channel Capacity）为C=B\log_2\left(1+\frac{P_t|h|^2}{\sigma^2} \right),\tag{2}其中B为信号带宽， P_t 为信号发射功率。
相信很多人知道结论(2)，但是不明白它是怎么得到的。
下面将简单的阐述其推导过程。
阅读该过程之前，建议阅读“ 徐光宁：信息论（1）——熵、互信息、相对熵”中关于熵和互信息的定义。
对于接收端，发送信息x是一个随机变量，例如以概率p(x=a)发送x=a。
如果发送信息x对于接收端为一个确定值，那发送本身就没有任何意义。
因为发送信号x和噪声n 都是随机变量，接收信号y也是随机的。
可以引入熵来描述随机变量y所含的信息量，即H(y)=\int_y p(y)\log \frac{1}{p(y)}dy,\\其中p(y)为y的概率密度函数。
当某一时刻发送某一x后(x 此时是确定的), 收到的y的信息量为H(y|x)=\int_y p(y|x)\log \frac{1}{p(y|x)}dy,\\其中p(y|x)为y在给定x下的条件概率。
注意y因为是随机变量x和n的和，且x和n相互独立，其信息量为传输信号x和噪声n的信息量之和。
而y|x的随机性仅仅与噪声n有关，其信息量为噪声n的信息量。
互信息定义为I(x,y)=H(y)-H(y|x)\\ 。
其物理意义为随机变量y的信息量减去噪声n的信息量，等于x的信息量。
信道容量C指信道所实际传输信息量的最大值C=\max\limits_{p(x)} I(x,y) \tag{3}数学证明当x服从高斯分布 \mathcal{C}(0,P_t) 时，C in (3)取得最大值。
信道容量的公式信道容量是通信领域中的一个重要概念，它描述了在给定噪声条件下，信道能够可靠传输信息的最大速率。
信道容量的公式是由克劳德·香农（Claude Shannon）提出的，这个公式为 C = B * log₂(1 + S/N) ，其中 C 表示信道容量，B 表示信道带宽，S 表示信号功率，N 表示噪声功率。
咱们先来说说这个信道带宽 B 。
想象一下，信道就像是一条公路，带宽呢，就好比公路的宽度。
公路越宽，能同时通过的车辆就越多；同理，信道带宽越大，能同时传输的信息也就越多。
比如说，我们现在的 5G 网络，它的信道带宽可比之前的 4G 大多了，所以传输速度那叫一个快。
再来说说信号功率 S 和噪声功率 N 。
这俩就像是在公路上行驶的车辆，信号是正常行驶的车，噪声就是捣乱的车。
信号功率越大，就相当于正常行驶的车越多，信息传输就越顺畅；而噪声功率越大，就像捣乱的车越多，会干扰正常的信息传输。
我记得有一次，我家里的网络出了问题，看个视频老是卡顿。
我就琢磨着，这是不是信道容量不够啊。
于是我开始研究，发现原来是周围太多人同时使用网络，导致噪声功率增大，影响了我家的网络速度。
就好像公路上突然涌入了好多乱开的车，把路都堵了，我正常的信息传输也被堵住了。
那这个信道容量的公式有啥用呢？比如说，在设计通信系统的时候，工程师们可以根据这个公式来确定需要多大的带宽，以及如何控制信号功率和噪声功率，以达到期望的信道容量，保证信息能够快速、准确地传输。
在实际应用中，比如卫星通信。
卫星在太空中向地球发送信号，由于距离远，信号会衰减，噪声也会增加。
这时候，就得用信道容量的公式来计算，怎样调整参数，才能让我们在地球上能清晰地接收到卫星传来的信息，像看电视直播、导航定位啥的。
还有无线局域网，像咱们家里的Wi-Fi。
如果同时连接的设备太多，就可能会导致信道容量不足，网速变慢。
这时候，我们可以通过优化路由器的设置，增加带宽，或者减少周围的干扰源，来提高信道容量，让网络更顺畅。
