离散无记忆二进制BSC信道容量

1.信源编码的主要目的是提高有效性, 信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面, 一是信源符号间的相关性, 二是信源符号的统计不均匀性。

3.三进制信源的最小熵为0, 最大熵为 bit/符号。

4.无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。

5.当R=C 或（信道剩余度为0）时, 信源与信道达到匹配。

6.根据信道特性是否随时间变化, 信道可以分为恒参信道和随参信道。

7、根据是否允许失真, 信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为 , 则输出信号幅度的概率密度是高斯分布或正态分布或 时, 信源具有最大熵, 其值为值 。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时, H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示, 信道输出用Y 表示。

在无噪有损信道中, H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

无穷大。

1、在认识论层次上研究信息的时候, 必须同时考虑到 形式、含义和效用 三个方面的因素。

2、1948年, 美国数学家 香农 发表了题为“通信的数学理论”的长篇论文, 从而创立了信息论。

3、按照信息的性质, 可以把信息分成 语法信息、语义信息和语用信息 。

4、按照信息的地位, 可以把信息分成 客观信息和主观信息 。

5、人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

6、信息的 可度量性 是建立信息论的基础。

7、 统计度量 是信息度量最常用的方法。

8、 熵 是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述, 而多符号离散信源一般用 随机矢量 描述。

信道容量的计算方法信道容量的计算方法：1、对于离散无记忆信道，香农公式是计算信道容量的重要方法。

香农公式为C = W log₂(1 + S/N)，其中C表示信道容量，W表示信道带宽，S表示信号功率，N表示噪声功率。

2、在计算信道容量时，先确定信道带宽W的值。

例如，在一个无线通信系统中，经过测量或者根据通信标准规定，信道带宽可能是20MHz。

3、接着确定信号功率S。

信号功率可以通过功率测量仪器得到，比如在一个发射机输出端测量到的功率为10W。

4、然后确定噪声功率N。

噪声功率的确定需要考虑多种因素，如热噪声、干扰噪声等。

热噪声功率可以根据公式N₀= kT₀B计算，其中k是玻尔兹曼常数，T₀是绝对温度，B是等效噪声带宽。

在常温下，假设T₀= 290K，若等效噪声带宽与信道带宽相同为20MHz，可算出热噪声功率，再加上其他干扰噪声功率得到总的噪声功率N。

5、将确定好的W、S、N的值代入香农公式计算信道容量C。

6、对于离散有记忆信道，计算信道容量会更复杂。

需要考虑信道的记忆特性，通常采用马尔可夫链来描述信道状态的转移概率。

7、构建马尔可夫链的状态转移矩阵，矩阵中的元素表示从一个状态转移到另一个状态的概率。

8、通过求解马尔可夫链的稳态分布，结合输入符号的概率分布，利用信息论中的互信息公式来计算信道容量。

9、在多输入多输出(MIMO) 系统中，信道容量的计算又有不同。

需要考虑多个发射天线和多个接收天线之间的信道矩阵H。

10、利用矩阵H的特征值等信息，根据MIMO信道容量公式C = log₂det(I + ρHH*)计算信道容量，其中ρ是信噪比，I是单位矩阵，H*是H的共轭转置矩阵。

第4章 离散信道及其容量4.1节离散无记忆信道（DMC, Discrete Memoryless Channel ）什么是 “信道”？通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地，即信宿（sink ）。

但什么是“信道”？Kelly 称信道是通信系统中“不愿或不能改变的部分”。

比如CDMA 通信中，设备商只能针对给定的频谱范围进行设备开发，而运营商可能出于成本的考虑，不愿意进行新的投资，仍旧采用老的设备。

通信是对随机信号的通信，因此信源必须具有可选的消息，因此不可能利用一个sin(·)信号进行通信，而是至少需要两个可供发射机进行选择。

一旦选择了信息传输所采用的信号，信道决定了从信源到信宿的过程中信号所受到的各种影响。

从数学上理解，信道指定了接收机接收到各种信号的条件概率(conditional probability)，但输入信号的先念概念（prior probability ）则由使用信道的接收机指定。

如果只考虑离散时间信道，则输入、输出均可用随机变量序列进行描述。

输入序列X 1,X 2,……是由发射机进行选择，信道则决定输出序列Y 1, Y 2,……的条件概率。

数学上考虑的最简单的信道是离散无记忆信道。

离散无记忆信道由三部分组成：（1） 输入字符集A ={a 1, a 2, a 3,…}。

该字符集既可以是有限，也可以是可数无限。

其中每个符号a i 代表发射机使用信道时可选择的信号。

（2） 输出字符集B={b 1, b 2, b 3,…}。

该字符集既可以是有限，也可以是可数无限。

其中每个符号bi 代表接收机使用信道时可选择的信号。

（3） 条件概率分布P Y |X (·|X )，该条件分布定义在B 上，其中X ∈A 。

它描述了信道对输入信号的影响。

离散无记忆的假设表明，信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。

或者：1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=，n =1,2,3….Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。

第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。

计算机科学技术：信息论与编码考试题库二1、问答题（江南博哥）请给出平均码长界定定理及其物理意义。

答案：2、填空题多用户信道的信道容量用（）来表示。

答案：多维空间的一个区域的界限3、判断题狭义的信道编码既是指：信道的检、纠错编码。

答案：对4、判断题互信息量I（X；Y）表示收到Y后仍对信源X的不确定度。

答案：对5、判断题对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。

答案：错6、问答?有两个二元随机变量X和Y，它们的联合概率为P[X=0，Y=0]=1/8，P[X=0，Y=1]=3/8，P[X=1，Y=1]=1/8，P[X=1，Y=0]=3/8。

定义另一随机变量Z=XY，试计算：（1）H（X），H（Y），H（Z），H（XZ），H（YZ），H（XYZ）；（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H （X/YZ），H（Y/XZ），H（Z/XY）；（3）I（X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X），I（X；Z/Y）。

答案：7、填空题平均互信息量I（X；Y）与信源熵和条件熵之间的关系是（）。

答案：（X;Y)=H(X)-H(X/Y）8、填空题根据输入输出信号的特点，可将信道分成离散信道、连续信道、（）信道。

答案：半离散或半连续9、填空题单符号离散信源一般用随机变量描述，而多符号离散信源一般用（）描述。

答案：随机矢量10、填空题信源编码的目的是提高通信的（），信道编码的目的是提高通信的（），加密编码的目的是保证通信的（）。

答案：有效性；可靠性；安全性11、填空题某离散无记忆信源X，其符号个数为n，则当信源符号呈（）分布情况下，信源熵取最大值（）。

答案：等概；log（n）12、名词解释前向纠错（FEC）答案：是指差错控制过程中是单向的，无须差错信息的反馈。

13、名词解释信源编码答案：就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列。

第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。