当前位置：文档之家 › 第3章 信道模型和信道容量 习题课(2)

第3章 信道模型和信道容量 习题课(2)

  • 格式：pdf
  • 大小：210.85 KB
  • 文档页数：18

下载文档原格式

  / 18

合集下载

信息论与编码理论-第3章信道容量-习题解答

信息论与编码理论-第3章信道容量-习题解答

信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

第三章 信道与信道容量 习题解答

第三章 信道与信道容量 习题解答

6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：

信道与信道容量2

信道与信道容量2

信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
• 定理：
• 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。
• 信能道 够容 传量 输是 的完最全大描信I(述息X;信量Y)道。 特i 性j p的(a参i)p量(bj,是|ai信)lo道gp(pb(jb|ja)i)
34
由 I (X ;Y ) 0 解得 1/2
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
30
准对称信道的信道容量
• 准对称信道
0.70.20.1 0.70.2 0.1 P 20.20.10.7 0.20.7 0.1
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为

第三章 信道模型和信道容量

第三章 信道模型和信道容量

这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt

第3章 信道模型和信道容量 习题课(2)

第3章 信道模型和信道容量 习题课(2)

3、解： （1）已知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0


1

1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
21s?121lognkkkskmmcshppprr??????????????????????11222loglog1222211loglog12hh????????????????????????????????????设在平均功率受限高斯可加波形信道中信道带宽为3khz又设信号功率噪声功率噪声功率20db
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。

第三章 信道模型和信道容量

第三章 信道模型和信道容量

信息论基础 武汉科技大学
信道的基本概念
例：信源输出二元符号(0,1)调制时如采用正负 方波的传输，正负方波分别表示0和1
输入/输出统计关系 输入 X
0
信道
输出 Y
1
噪声干扰 Z
信息论基础 武汉科技大学
信道的基本概念
１. 无噪声干扰
0
0
1
1
P(0|0)=P(1|1)=1
信息论基础 武汉科技大学
P(1|0)=P(0|1)=0
b 1 b 2 b 3 b s
0.7
有干扰无记忆信道
不仅仅是有干扰信道，而且是无记忆的。 无记忆的信道指的是在任一时刻的输出符 号只统计依赖于对应时刻的输入符号，而 与其它时刻的输入符号和其它时刻的输出 符号无关。
p( y n | x1 x2 xn y1 y 2 y n1 ) p( y n | xn )
p p
p p
信道线图
X 0 p
1
Y 0 1
p
信息论基础 武汉科技大学
离散单符号信道举例
二元删除信道（BEC） 输入的取值有2个为0、1，输出的取值有3 个为0、1、2(或者?)，定义正确概率p

p(0 | 0) p p(1 | 0) 0 p(2 | 0) p p(0 | 1) 0
b1
a1 a2 ar p (b1 | a1 ) p (b1 | a 2 ) p(b | a ) 1 r
b2

bs
p (bs | a1 ) p (bs | a 2 ) p(bs | a r )
p (b2 | a1 ) p (b2 | a 2 ) p (b2 | a r )

信息论与编码理论-第3章信道容量-习题解答-071102

第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。

《信息论与编码》习题解答-第三章

第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。

信息论与编码理论-第3章信道容量-习题解答-071102

第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。

第三章 信道容量 例题 20120917


对称DMC信道信道容量的计算：
。
1 1 1 1 3 3 6 6 例2：求信道P 的信道容量。 1 1 1 1 6 6 3 3 解：因为该信道是对称DMC信道，所以,当p ( ai ) 1/ 2, i 1, 2时 C log 2 m p (b j ai ) log 2 p (b j ai ) log 2 4 H (1/ 3,1/ 3,1/ 6,1/ 6) 0.082bit / 符号
当概率分布为的输入符号集中每一个概率不为零的符号提供相同的互信息量时平均互信息量达到信道容量其中2015716物理与信息工程学院第三章第二节例题一般dmc信道信道容量的例子
信息论与编码
福州大学物理与信息工程学院 郭里婷
物理与信息工程学院 郭里婷
1
2013-9-13
第三章第一节例题
离散单符号信道：
例1：若X l {0,1}，Yl {0,1, 2}，即n 2, m 3, 则 p(0 0) p(1 0) p(2 0) 当L 1时，转移概率p(Y X ), 转移矩阵P p(0 1) p(11) p(2 1)
二进制对称信道BSC——Binary Symmetric Channel： 1 p p 例2：若X l A {0,1},Yl B {0,1}, P p 1 p 离散序列信道：
例3：若X l {0,1}，Yl {0,1, 2}，即n 2, m 3, 则 当L 2时，转移概率p (Y X), 转移概率矩阵 p (00 00) p (00 01) P p (00 10) p (00 11) p(01 00) p(02 00) p(10 00) p(11 00) p(12 00) p(20 00) p (21 00) p (22 00) p(01 01) p(02 01) p(10 01) p(11 01) p(12 01) p(20 01) p (21 01) p (22 01) p(01 10) p(02 10) p (10 10) p(11 10) p(12 10) p(20 10) p(21 10) p(22 10) p (01 11) p(02 11) p(10 11) p(11 11) p(12 11) p(20 11) p (21 11) p (22 11)
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

输入信源熵为
1 3 H ( X ) H ( , ) 0.811 4 4
损失熵为
比特/符号
H ( X | Y ) P ( x ) P ( y | x ) log P ( x | y )
X Y
1 6 3 2 P( y 0) H ( , ) P( y 1) H ( , ) 0.7497 比特/符号 7 7 5 5
因为该信道为离散对称信道，故
所以
1 2 2 2 1 1 H (Y | X ) H ( , ) log log 3 3 3 3 3 3 0.390 0.528 0.918 比特/符号 I ( X ;Y ) H ( X ) H ( X | Y ) 0.062 比特/符号
选择题 若信道和信源均无记忆， 以下结论不成立的是_____ A. I ( X ; Y )
I(X
k 1
N
k
; Yk )
B． I ( X ; Y ) NI ( X ; Y ) C． I ( X ; Y ) D． C
N
I(X
k 1
N
k
; Yk )
NC

关于两个独立信道 Q1、 Q2 串联， 下列说法不正确的是_____
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。
解： （1）平均功率受限高斯可加波形信道，其 W = 3kHz， 由题意可知

P C ( PS ) B log 1 S 已知香农公式 不能得出的结论是 N0 B ，
______ A. 在信噪比不变的前提下，增大频带，可增大信道容 量 B. 频带不变时，增大信噪比即可增大信道容量 C C. 在 PS 增大很多之后， 继续增大信号功率来实现信道 容量的增大是一个有效途径 D. 用扩频方法来增大信道容量，其作用是有限的
3、 设二元对称信道的转移概率矩阵为
2 3 1 3
1 3 2 3
(1) 若 P 0 3 4 ， P 1 1 4 ，求 H X ，
H X | Y ， H Y | X 和 I X ; Y ；
(2) 求该信道的信道容量及其达到信道容量 时的最佳输入概率分布。
（2）此信道为二元对称信道，所以信道容量
2 1 C 1 H ( p) 1 H ( , ) 0.082 bit/符号 3 3
根据二元对称信道的性质可知，输入符号为等
1 概率分布 ( 即 P(0) P(1) ) 时信道的信息 2
传输率可以达到这个信道容量值。
判断下图中各个信道是否对称，如 对称，求出其信道容量。
3、解： （1）Biblioteka 知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0


1

1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
第三章 习题课
填空题 1. 有记忆信道的当前输出不仅与______输入有关， 还与 ______输入有关。 2. 既代表__________，又代表__________，因此，通常 把 H(X|Y)称为信道的_____或_____ 3. 如果信道给定，那么 I(PX,PY|X)是输入概率 的_____ 凸函数。 如果信源给定， 那么 I(PX,PY|X)是转移概率 PY|X 的_____凸函数。 4. 衡量一个信息传递系统的好坏，有两个主要指标。其 一，_____；其二，_____。 5. 使得给定信道_____的输入分布，称为最佳输入(概率)
PX
* P 分布，记为 X
判断题 1. 信道容量 C 不仅与信道转移概率有关，也与信道的 输入分布有关。 （ ） 2. 噪声熵为 0 的信道称为确定信道。 （ ） 3. 离散对称信道输入等概率分布时，输出未必也等概 率分布。 （ ） 4. 一般 DMC 达到信道容量的充要条件为信源符号的 偏互信息均等于信道容量。 （ ） 5. 信道是 DMC 的充要条件是序列符号对之间的转移 概率等于各个时刻单个符号对转移概率之连乘。 （ ）
X
信道 I
Y
信道 II
Z
Q1
Q2
A. 串联信道的信道容量与组成串联信道的各分信道的信 道容量存在精确的定量关系 B．数据处理过程中，随着数据的不断处理，从处理后的数 据中所得的原始信息会愈来愈少 C． 串联信道的转移概率矩阵是各单元信道的转移概率矩阵 之积 D． XYZ 组成一个马尔可夫链
信源的输出与信道的输入匹配的目的不包括_____ A. 符号匹配；B. 信息匹配； C. 功率匹配；D. 降低信道剩余度 以下关于连续信道的说法中，不正确的是_____ A．连续信道是时间离散、幅值连续的信道 B．连续信道的统计特性由转移概率分布函数描述 C．加性噪声信道的转移概率密度函数等于噪声的概率 密度函数 D．对于无记忆加性噪声信道，若输入信号服从高斯分 布， 且噪声的平均功率受限， 则服从高斯分布的噪 声使信道平均互信息量达到最小
则
r 2 ； n 2 ； M1 1 ； M 2 2 ； s1 2 ； s2 1
Mk C sk r k 1
n
Mk log r
, p2 , H ( p1
) , ps
1 1 2 2 2 log log H (1 , , ) 2 2 2 2 1 1 log log H (1 , , ) 2
3 2 1 1 7 4 3 4 3 12
5 P( y 1) 1 P( y 0) 12
后验概率计算如下：
3 2 P ( x 0) P ( y 0 | x 0 ) 4 3 6 P( x 0 | y 0) 7 P ( y 0) 7 12 1 P( x 1| y 0) 1 P( x 0 | y 0) 7 3 1 P( x 0) P( y 1 | x 0) 4 3 3 P( x 0 | y 1) 5 P( y 1) 5 12 2 P( x 1| y 1) 1 P( x 1| y 0) 5
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
3
PS 10 log10 1 5dB PN
可得
PS 1 3.16 PN
所以 得到
19.93 103 W log 2 3.16
W 12 KHz
由此可知，在传输相同的信息传输速率下，降低信噪比就需 要增加带宽。