第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位
第5章 信道及信道容量 教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道 5．1信道模型及信道分类 教学内容： 1、一般信道的数学模型 2、信道的分类 3、信道容量的定义 1、 一般信道的数学模型 影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。 信道的一般数学模型： 2、 信道的分类 输出随机信号 输入、输出随机变量个数 输入和输出的个数 信道上有无干扰 有无记忆特性 3、信道容量的定义 衡量一个信息传递系统的好坏，有两个主要指标： 图5.1.1 一般信道的数学模型 离散信道、连续信道、半离散或半连续信道 单符号信道和多符号信道 有干扰信道和无干扰信道 有记忆信道和无记忆信道 单用户信道和多用户信道 速度指标 质量指标
速度指标：信息（传输）率R ，即信道中平均每个符号传递的信息量； 质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率； 目标：速度快、错误少，即R 尽量大而e P 尽量小。 信道容量：信息率R 能大到什么程度； )/()()/()();(X Y H Y H Y X H X H Y X I R -=-== 若信道平均传送一个符号所需时间为t 秒，则 ) ;(1 Y X I t R t =（bit/s ） 称t R 为信息（传输）速率。 分析： 对于给定的信道，总存在一个信源（其概率分布为* )(X P ），会使信道的信息率R 达到 最大。 （);(Y X I 是输入概率)(X P 的上凸函数，这意味着);(Y X I 关于)(X P 存在最大值） 每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C ，即 ) ;(max max Y X I R C X X P P ==bit/符号 （5.1.3） 信道容量也可以定义为信道的最大的信息速率，记为 t C ?? ? ???==);(1max max Y X I t R C X X P t P t （bit /s ） （5.1.4） 解释： (1)信道容量C 是信道信息率R 的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的);(Y X I 达到最大值（即信道容量C ）的输入分布，称为最佳输入（概率）分布，记为* )(X P ； (3)信道的);(Y X I 与输入概率分布)(X P 和转移概率分布)/(X Y P 两者有关，但信道容量 C 是信道的固有参数，只与信道转移概率)/(X Y P 有关。 4、意义： 研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量);(Y X I 关于输入概率分布)(X P 的最大值问题。一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。
精品文档 3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
第三章信道与信道容量（第七讲） （2课时） 主要内容：（1）信道分类与表示参数（2）离散单个符号信道及其容量 重点：无干扰离散信道、对称DMC信道、准对称DMC信道、一般DMC信道。 难点：无干扰离散信道、对称DMC信道、准对称DMC信道、一般DMC信道。 作业：3、1，3、2。 说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。 3．1 信道的分类和表示参数 信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性研究信道。 首先看一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。 图3－1 信道模型 3．1．1 信道的分类 （1）根据输入输出随机信号的特点分类 离散信道：输入、输出随机变量都取离散值。 连续信道：输入、输出随机变量都取连续值。 半离散/半连续信道：输入变量取离散值而输出变量取连续值，或反之。 据输入输出随机变量个数的多少分类
实验一信道容量及其一般计算方法 1.实验目的 一般离散信道容量的迭代运算 2.实验要求 （1）理解和掌握信道容量的概念和物理意义 （2）理解一般离散信道容量的迭代算法 （3）采用Matlab编程实现迭代算法 （4）认真填写实验报告。 3.源代码 clc;clear all; //清屏 N = input('输入信源符号X的个数N='); //输入行数 M = input('输出信源符号Y的个数M='); //输入列数 p_yx=zeros(N,M); //程序设计需要信道矩阵初始化为零 fprintf('输入信道矩阵概率\n') for i=1:N //从第一行第一列开始输入 for j=1:M p_yx(i,j)=input('p_yx='); //输入信道矩阵概率 if p_yx(i)<0 //若输出概率小于0则不符合概率分布 error('不符合概率分布') end end end for i=1:N //各行概率累加求和 s(i)=0; for j=1:M s(i)=s(i)+p_yx(i,j); end end for i=1:N //判断是否符合概率分布 if (s(i)<=0.999999||s(i)>=1.000001) //若行相加小于等于0.9999999或者大于等于1.000001 Error //('不符合概率分布') end end b=input('输入迭代精度：'); //输入迭代精度 for i=1:N p(i)=1.0/N; //取初始概率为均匀分布（每行值分别为1/N，）end for j=1:M //计算q(j) q(j)=0; for i=1:N q(j)=q(j)+p(i)*p_yx(i,j); //均匀分布的值乘上矩阵值后+q（j），然后赋值给q（j）实现求和
第三章离散信道及其信道容量 3．1．1 信道的分类 在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有： 按照信道输入端或输出端的个数可分为单用户信道和多用户信道。 按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。 按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。 按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。 按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。 按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。 按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。 3．1．2 离散信道的数字模型 1．一般离散信道(多维离散信道) 一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足
概率空间[X，P(y|x)，Y]也可用图来描述。 2．基本离散信道(单符号离散信道) 单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足 概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。 若将传递概率排列成矩阵形式，则称其为传递矩阵(或称信道矩阵)P，即 3．无噪(无干扰信道) 若离散信道[X，P(y|x)，Y]满足
.. .. ... . . 第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位
3.1 设信源??? ???=??????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ? ?????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) sym bol bit y p y p Y H sym bol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) sym bol bit Y H X Y H X H Y X H Y X H Y H X Y H X H sym bol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
第三章信道与信道容量 主要内容：（1）信道的分类和表示参数；（2）离散单个符号信道及其容量；（3）离散序列信道及其容量；（4）连续信道及其容量。 重点：离散单个符号信道及其容量。 难点：连续信道及其容量。 说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。 作业：3．1，3．2。 课时分配：4课时。 板书及讲解要点： 本章首先讨论信道的分类及表示信道的参数，然后讨论各种信道的容量和计算方法。 3．1 信道的分类和表示参数 信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。 首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。 3．1． 1 信道的分类 图3－1 信道模型
3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
一1. 2.3.4.5. 一、 填信道是传输无线的，并噪声和干扰信息的传输通常用信道随机特性。. 信道容量信道最大述信道特. 对一个给容量就是的平均互态。因而信道的信. 信息传递要知道传系为t C = 如果信道矩排的；如果矩阵是列可对称信道。第三章填空题输信息的通并有多种传扰，而这些输。由于噪声道的转移概 量 C 是信道大信息“通行特性的信道转给定的信道是定值。当信互信息量在量而，计算匹配信道容量。 递速率C t 描传输一个符C t ，单矩阵P 的每果转移概率可排的；如如果信道章 信题 通道。在通信 传输媒介。信些噪声和干扰声和干扰具概率矩阵/前道的最大信息行”能力的转移概率有，描述信道信源为匹配量值上等于配信源分布描述的是信道号所需的时单位为比特/秒每一行都是第率矩阵P 的每果信道矩阵道矩阵P 仅满信道容 信系统中，信息在信道扰会叠加到具有随机特性向概率矩阵息传输率（的标志，因有关。 道特性的信配信源（信于信道容量布时，流经道在单位时时间t ，则信秒。 第一行诸元每一列都是阵P 同时满满足行可排容量练实际信道可道的传输过程到信息的载体性，从而使信阵这一概率（单位：比特此它与信源道转移概率源概率取最，即信道处信道的平均 时间内平均传信息传递速元素的不同排是第一列诸元满足行可排和排不满足列可练习题 可以是有线程中，不可体——信号信道也具有模型来描述特/符号）。源的概率分率就一定了最佳分布）处于最大信均互信息量传递信息多率C t 与信道排列，则称元素的不同和列可排，可排，则称线的，也可以可避免地会引号上，从而影有随机特 性述信道的这信道容量分布无关，只，因而其信时，通过信信息“通行”量，就可以求多少的能力道容量C 的 称该矩阵是行 同排列，则称则称该信道称该信道为准以是 引入影响性，一C 是 只描信道 信道”状求出，只 的关行可称该道为准对
第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==,求(),(),(|),(|)H X H Y H X Y H Y X 与 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时,输入为等概率分布,即:{0、5,0、5} 注意单位
