– 无记忆信道 信道的输出只与信道该时刻的输入有关,而与其它 时刻的输入无关
– 有无记忆信道 信道的输出不但与信道现在时刻的输入有关,而且 还与以前时刻的输入有关
信道分类
❖ 按输入输出信号之间的关系是否是确定关系
– 无干扰信道: 输入和输出符号之间有确定的一一对应关系
– 有干扰信道: 输入和输出之间关系是一种统计依存的关系
❖ 输入和输出的统计特性:
恒参信道和随参信道 对称信道和非对称信道
离散无记忆信道
X 0,1,2, , K 1
信道
Y 0,1,2, , J 1
x1,x2, ,xN
pN (y | x)
y1, y2, , yN
pN (y | x) p( y1, y2, , yN | x1, x2, , xN )
一致
信息大于其它任一输入与所有输出之间的平均互信息,我们就
可以通过更经常采用这个输入k(即加大Qk)来增大。但这样做 会改变每个输入与所有输出之间的平均互信息量(由概率归一
性约束)。通过足够多次的调整输入概率分布,就可使每个概
率不为零的输入与所有输出之间的平均互信息量任意接近。
Kuhn-Tucker条件
信道转移概率矩阵 p(y / x) :
描述输入和输出的统计依赖关系
p(Y|X)
X
Y
信道
信道分类
❖ 按信道的输入和输出在幅度和时间上的取值
时间离散的离散信道(离散信道) 时间离散的连续信道(连续信道) 时间连续的离散信道 时间连续的连续信道(波形信道)
信道分类
❖ 按输入输出之间关系的记忆性来划分:
J 1
P(xy) log
p( y
|
x)
x0 y0