信息论与编码第二版复习课件第三章

信道
有干扰 无干扰
信道
有记忆 无记忆
信道
单符号 多符号
4
第3章 信道与信道容量
3.1.2
信道参数
uu v 信道输入矢量为 X = ( X 1 , X 2 ,L, X i ,L), X i ∈ A = {a1 , a2 ,L, an }
u v 输出矢量为 Y = (Y1 , Y 2 ,L , Y j ,L), Y j ∈ B = {b1 , b2 ,L, bm }
C = max I ( X ; Y ) = log n
p ( ai )
I ( X ;Y ) = H( X ) = H(Y )
2
a1 a2 a3 a4 a5 X
多个输入变成一个输出(n＞m)
1 1 1 1 1 Y
⎡1 ⎢1 b1 ⎢ P = ⎢1 ⎢ ⎢0 b2 ⎢0 ⎣
0⎤ 0⎥ ⎥ 0⎥ ⎥ 1⎥ 1⎥ ⎦
25
第3章 信道与信道容量
若信道输入符号等概率分布，则 输出对称
1 p (b j ) = ∑ p (ai ) p (b j | ai ) = ∑ p (b j | ai ) n i i
0 p 1 1－p
8
传输发生错误的概率 无错误传输的概率 1－p p
p ⎤ 0 ⎡1 − p P=⎢ p 1 − p⎥ 1 ⎦ ⎣
0
二进制对称信道（BSC）
1
第3Байду номын сангаас 信道与信道容量
离散无记忆信道(DMC) 输入是n元符号 X ∈ {a1 , a2 ,L a n } 输出是m元符号 Y ∈ {b1 , b2 ,L , bm } 转移概率矩阵：
t为平均传送一个 符号所需的时间
信道容量C 信道所能传送的最大信息量，亦即最大的信息传输率
C = max I ( X ;Y ) bit / 符号
p ( ai )
单位时间的信道容量Ct 信道最大的信息传输速率
1 Ct = max I ( X ; Y ) bit / s t p ( ai )
16
第3章 信道与信道容量
采用条件概率 p(Y | X ) 来描述信道输入输出信号之 间统计的依赖关系。
p(Y | X )
X
信 道
Y
转移概率
5
第3章 信道与信道容量
• 信道种类
根据信道是否存在干扰以及有无记忆，将信道 分为3大类： (1) 无干扰（无噪声）信道 (2) 有干扰无记忆信道 (3) 有干扰有记忆信道 (1) 无干扰（无噪声）信道 信道的输出信号 Y 与输入信号 X 之间有确定的 关系: Y = f ( X ) 转移概率:
= ∑ p( xi , y j ) log
i, j
p( y j | xi ) p( y j )
信道的信息传输率就是平均互信息
R = I ( X ; Y ) = H ( X ) − H X⏐ Y
( )
bit / 符号
15
第3章 信道与信道容量
信息传输速率Rt 信道在单位时间内平均传输的信息量
Rt = R t = I ( X ; Y ) t bit / s
1 6 1 3
1 6 1 6
⎤ ⎥ ⎦
⎡0.7 P = ⎣0.1
4
0.2 0.1 0.2 0.7
⎤ ⎦
24
第3章 信道与信道容量
输入对称
∑ p(b j / ai ) log p(b j / ai )与i无关
j
i j
H (Y | X ) = −∑ p (ai )∑ p (b j | ai ) log p (b j | ai ) = −∑ p (b j | ai ) log p (b j | ai ) = H (Y | ai )
j
与信道输入符号概率分布无关
C＝ max I ( X ; Y ) = max[ H ( X ) − H ( X | Y )]
p ( ai ) p ( ai )
= max[ H (Y ) − H (Y | X )]
p ( ai ) p ( ai )
= max H (Y ) − H (Y | X )
将平均互信息量的最 大值问题转换成输出 熵的最大值问题
0 1 4 ⎤ 0⎥ ⎥ 3⎥ 4⎥ ⎦
⎧ p ( a 1 | b1 ) = 1 ⎪ ⎨ p ( a1 | b2 ) = 1 ⎪ p (a | b ) = 1 1 3 ⎩
⎧ p (a 2 | b4 ) = 1 ⎨ ⎩ p ( a 2 | b5 ) = 1
a2 3/4
⎡1 ⎢3 P=⎢ ⎢0 ⎢ ⎣ 1 3 0 1 3 0
11
二元删除信道BEC
0 1－p p p 1 1－p 0
删除元
1－p p
0
2
1
1
0
0 1
Z型信道
第3章 信道与信道容量
离散输入、连续输出信道 输入 X ∈ {a1 , a2 ,L a n } 输出 Y ∈ {−∞ , ∞}
转移特性：一组条件概率密度函数 pY ( y | X = ai ) 加性高斯白噪声（AWGN）信道
噪声熵H(Y|X) ≠0 损失熵H(X|Y) = 0
I ( X ; Y ) = H ( X ) < H (Y )
有噪无损信道
C = max I ( X ; Y ) = max H ( X ) = log n
p ( ai )
22
第3章 信道与信道容量
3.2.2 对称DMC信道
输入对称 如果转移概率矩阵P的每一行都是第一行的置 换(包含同样元素)，称该矩阵是输入对称。 输出对称 如果转移概率矩阵P的每一列都是第一列的置 换(包含同样元素)，称该矩阵是输出对称。 对称信道 输入、输出都对称。
(
)
14
第3章 信道与信道容量
3.2 离散单个符号信道及其容量
信息传输率R 信道中平均每个符号所能传送的信息量 复习 平均互信息I (X;Y)：接收到Y后平均每个符 号获得的关于X的信息量。
I ( X ;Y ) = ∑ p( xi , y j ) log
i, j
p( xi | y j ) p( xi )
x(t)
+
n(t)
y(t)
信道转移概率密度函数 = 噪声概率密度函数pn(n)
13
第3章 信道与信道容量
(3) 有干扰有记忆信道 方法： （1）将记忆很强的L个符号当作矢量符号，矢量符 号间认为无记忆。 （2）转移概率 p(Y | X ) 看成马尔可夫链的形式
p yn , sn⏐xn , sn −1
输出熵： H(Y) = H( pq +pq, 1−pq − pq) = H( pq+ pq) 条件熵：H (Y | X ) = H ( p, p) = H ( p) 平均互信息量：
I ( X ; Y ) = H (Y ) − H (Y | X ) = H ( pq + pq ) − H ( p)
17
b1 a1 ⎡ p11 ⎢p P = a2 ⎢ 21 M ⎢M ⎢ an ⎣ pn1 b2 L bm p12 L p1m ⎤ ⎥ p22 L p2 m ⎥ M M ⎥ ⎥ p n 2 pnm ⎦
an a1 p21 a2 : : : pnm bm p22
: : :
p11 p12
b1 b2
pij=p( bj |ai )
19
第3章 信道与信道容量
3.2.1 无干扰离散信道
信道输入 X ∈ A = {a1 , a2 ,L a n } 输出 Y ∈ B = {b1 , b2 ,L, bm } 无噪 ：1个输入只对应1个输出，噪声熵H(Y|X)=0 无损 ：1个输出只对应1个输入，疑义度H(X|Y)=0 1
X
X、Y一一对应(n=m)
第3章 信道与信道容量
当p固定时，I (X,Y) 是q的 I 型上凸函数， 存在一个极大值
18
第3章 信道与信道容量
说明： 信道容量是信道本身的特性，与信源无关； 信道容量是信息传输率R的上限，定量描述 了信道信息的最大通过能力； 不是所有的信源传输符号时都可以达到这个 传输速率，使信道达到最大传输率的输入概率 分布称为最佳输入分布。
–二进制离散信道 –离散无记忆信道 –离散输入、连续输出信道 –波形信道
7
第3章 信道与信道容量
二进制离散信道
X ∈ A = {0,1}
Y ∈ B = {0,1}
信道转移概率p(yj|xi)： p(Y=0|X=1)=p(Y=1|X=0)=p p(Y=1|X=1)=p(Y=0|X=0)=1-p
0 1
X
+
G
Y
1 − ( y − ai ) 2 / 2σ 2 pY ( y | ai ) = e 2πσ
Y=X+G
12
第3章 信道与信道容量
波形信道 波形信道 多维连续信道
信道转移概率密度函数
pY ( y | x ) = pY ( y1 , y2 , L yL | x1 , x2 , L , xL )
无记忆 ⎯⎯⎯ = ∏ pY ( yl | xl ) → l =1 L
9
第3章 信道与信道容量
b 1
b2
bm
a1 ⎡ p(b | a1) p(b2 | a1) L p(bm | a1)⎤ 1 a2 ⎢p(b | a2) p(b2 | a2) L p(bm | a2)⎥ ⎥ P= ⎢ 1 ⎢ M M M ⎥ ⎥ ⎢ an ⎣p(b | an) p(b| an ) L p(bm | an)⎦ 1 2
复习 平均互信息I (X;Y) 的凸状性质 当p(xi)一定时，I(X;Y)是关于p(yj|xi)的下凸函数； 当p(yj|xi)一定时，I(X;Y)是关于p(xi)的上凸函数。 BSC 信道