–多个输入变成一个输出(n＞m)
p(bi | a j ) 1或0 • 噪声熵H(Y|X) ＝ 0
p(ai
|
bj
)
1或0
• 损失熵H(X|Y) ≠ 0
I(X ,Y ) H (Y ) H (X )
C max I (X ;Y ) max H (Y ) p(ai )
信道中接收到 符号Y后不能 完全消除对X 的不确定性, 信息有损失。 但输出端Y的 平均不确定性 因噪声熵等于 零而没有增加。26
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量
1
3.1 信道分类和表示参数
2
信道
• 信道：信息传输的通道
–在通信中,信道按其物理组成常被分成微波信 道、光纤信道、电缆信道等。信号在这些信 道中传输的过程遵循不同的物理规律, 通信 技术必须研究信号在这些信道中传输时的特 性
C
max
p(ai )
I
(X
;Y
)
max
H
(Y
)
log
2
m
29
3.2.2 对称DMC信道
• 对称离散无记忆信道：
• 对称性:
–每一行都是由同一集合{q1, q2,…qm}的诸
元素不同排列组成——输入对称
–每一列都是由{p1, p2,…pn}集的诸元素不
同排列组成——输出对称
1 1 1 1
P
3
3
6
6
31
对称DMC信道
• 对称离散信道的平均互信息为
I(X ,Y ) H (X ) H (X |Y ) H (Y ) H (Y | X )
H (Y | X ) p(ai ) p(bj | ai ) logp(bj | ai )
