信息论与编码课件第三章2分析

C max I(X ;Y)（单位为bit/符号） p(ai )
Ct
1 T
max I (X ;Y )（单位为bit
p(ai )
/
秒）
13
• 无嗓无损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
max
H
(Y
)
log
2
n
• 有嗓无损信道
C
max
p(ai )
I
(
X
;Y
)ห้องสมุดไป่ตู้
max
H
(Y
)
log
2
m
• 无嗓有损信道
p(Y|X)
X
Y
信道
• 对于无记忆离散序列信道,其信道转移概率为
L
p(Y | X ) p(Y1,YL | X1, X L ) p(Yl | Xl )
– 仅与当前输入有关。若信道是平稳l的1
p(Y | X ) pL ( y | x) 4
• 定理：若信道的输入和输出分别是L长序列X
和Y,且信道是无记忆的,亦即信道传递概率为
• BSC信道容量 C 1 H ( p) 15
• 离散序列无记忆信道容量
L
L
CL
max PX
I (; )
max PX
l 1
I ( X l ;Yl )
C(l)
l 1
• 独立并联信道容量
C1,2,L max I ( X ;Y )
L
C1 C2 CL Cl
• 高斯白噪声加性信道单位时间的信l1道容量
y(t) = x(t) + n(t)
x(t) 信 道 y(t)
– n(t)：信道的加性高斯白噪声
n(t)
• 一个受加性高斯白噪声干扰的带限波形信道的 容量,由香农(1948)正式定义：
C max{I (X ,Y )} p(x) 10
连续信道及其容量
• 高斯白噪声加性信道单位时间的信道容量
Ct
lim max 1 T T p( xi )
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
log
2
n
14
• 对称DMC信道容量
C log m H ( p1, p2 pm )
m
log m pij log pij j 1
• 强对称信道的信道容量
C
log
2
n
H
(1
p,
n
p ,, 1
n
p) 1
• 准对称信道的信道容量
r
C log n H ( p1, p2 pm ) Nk log M k k 1
Ct
lim max 1 T T p( xi )
I ( X ;Y )
W
log(1
Ps N0W
)
16
• 若信源与信道都是无记忆的
L
I (Χ ;Υ ) I (Xl ;Yl ) l 1
• L次扩展信道的信道容量
L
L
CL
max PX
I (;)
max PX
l 1
I ( Xl ;Yl )
l 1
C(l)
• 当信道平稳时: CL LC1
6
• 例3-7.BSC信道二次
扩展转移概率矩阵
X
00
Y
00
01
(1 p)2 p(1 p) p(1 p) p2
L
p(Y | X ) p(Yl | X l ) l 1
• 则存在
L
I (Χ ;Υ ) I (Xl ;Yl ) l 1
• 定理：若信道的输入和输出分别是L长序列X
和Y,且信源是无记忆的,亦即
L
p(X ) p(Xl )
• 则存在
l 1
L
I (Χ ;Υ ) I (Xl ;Yl )
l 1
5
离散序列信道及容量
01
P
p(1
p)
(1 p)2
p2
p(1
p)
10 11
p(1 p) p2 (1 p)2 p(1 p)
10 11
p2
p(1 p)
p(1 p)
(1
p)
2
• 2次扩展信道的信道容量
C2 log2 4 H[(1 p)2,(1 p),(1 p), p2] • 若 p = 0.1
• 则 C2=(2－0.938)bit/序列 = 1.062bit/序列
p(Y2|X2) 信道
Y2
…
C1,2,L max I ( X ;Y )
XL
L
C1 C2 CL Cl
l 1
p(YL|XL) 信道
YL
8
3.3 连续信道及其容量
9
连续信道及其容量
• 连续信道的容量不容易计算。 • 当信道为加性连续信道时,情况简单一些。 • 设信道的输入和输出信号是随机过程x(t) 和y(t)
C1 = log2 2 H[1 p, p] =0.531bit/序列
7
独立并联信道
• 设有L个信道,它们的输入、输出分别是：
X1,X2…XL； Y1,Y2…YL
• 每一个信道的输出Yl只与本 信道的输入Xl有关,与其他信
X1
p(Y1|X1) 信道
Y1
道的输入、输出都无关。 X 2
• 独立并联信道的信道容量
I ( X ;Y )
W
log(1
Ps N0W
)
其中，w为带宽，p为输入信号功率，N0为功谱率密度
这就是著名的 香农公式
11
• 3-1 • 3-3 • 3-4 • 3-10
习题
12
第三章小结
信道分类 有干扰，无干扰
信道条件概率矩阵（转移概率） P(Y|X)或者反信道转移概率P(X|Y) 信道容量
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
3.3 离散序列信道及容量
3
离散序列信道及容量
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an}
输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}