数学模型:{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ,则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X,x取值于A {a1, a2 ,, ar } 输出符号Y,y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为:00,01,10,11
传递矩阵扩展为: p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问: I (X N ;Y N ) 与I(X;Y)之间 的关系?
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y,且信
道是无记忆的,即: N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解:
输入扩展为:00,01,10,11
当ω=1/2 时,I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。