信息论-信道容量总结-(2)PPT课件

• 信道种类
1无干扰信道
2有干扰无记忆信道
3有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3
3.1信道分类和表示参数
二进制对称信道（BSC）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
X
+
Y
pY(y/ai)
1 e(yai)2/22
2
G
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
6
3.1信道分类和表示参数
波形信道
x(t)
y(t)
+
n(t)
pY(y/x)pY(y1,y2,yL/x1,x2,xL)
pY(y/x)pxp,yx((xx,)y)pxp,yx((xx,)n)pn(n)
p (bj/a i)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
对称信道容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
3.2离散单个符号信道及其容量
信息传输率
信道在单位时间内平均传输的信息量定义为信 息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t

续 信
噪声为加性WGN（高斯白噪声），平均功率为PN；
道
信号的有效带宽为W。
香农公式说明：
➢ 当信道容量一定时，增大信道带宽，可以降低对信噪功率 比的要求；反之，当信道频带较窄时，可以通过提高信噪 功率比来补偿。
➢ 当信道频带无限宽时，其信道容量与信号功率成正比。
PX 1 PN
lo2gxlnxlo2ge
增大信道容量的各种极限：
3.5
II.在增加信号的平均功率Ps而不改变信道通带的宽度W
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
增大信道容量的各种极限：
3.5
II.在增加信号的平均功率Ps而不改变信道通带的宽度W
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
第三章 信道容量
当一个人感到有一种 力量推动他去翱翔时， 他是决不应该爬行的。
－（美）海伦·凯勒
2006-10-31
1
第三章 信道容量
Review of the last lecture
• 提问（上次课的回顾）
• 在计算一般信道的信道容量时要注意什么问
题？
• 香农公式及其意义？
2006-10-31
限带加性白色高斯噪声信道的性能及其极限
有效利用信号功率的极限：
3.5 连 续 信 道
第三章 信道容量
n
④由p(yj ) p(xi ) p(yj / xi ),求p(xi )。 i1
一般离散信道容量的计算
• 注意：
➢ 在第②步信道容量C被求出后，计算并没有结束，必须 解出相应的p(xi) ，并确认所有的p(xi)≥0时，所求的C才 存在。

• I（X;Y）＝H（y）-H（Y/X）
p( y j ) ln p( y j ) p( xi ) p( y j / xi ) ln p( y j / xi )
j i j
(0.3 0.2 ) ln(0.3 0.2 ) (0.5 0.2 ) ln(0.5 0.2 ) 0.5 ln 0.5 0.3 ln 0.3
i
说明:
• (1) 两个公式
p( y j ) p(Y y j ) p( xi ) p( y j / xi )
i 0 q 1
I ( X ;Y ) p( xi ) p( y j / xi ) log
i 0 j 0
q 1 Q1
p( y j / xi ) p( y j )
0.3 0.2 0.5 0.3(1 ) 0.5(1 ) 0.2(1 )
由
p( y j ) xi y j 得
i
p(y1)=0.5 +0.3(1- )=0.3+0.2 p(y2)=0.3 +0.5(1- )=0.5-0.2 p(y3)=0.2 +0.2(1- )=0.2 其中p（y3）恒定，与xi的分布无关。
3)当X和Y统计独立时，接收的Y完全与发送 说明损失的信息达到与输人符号信息熵相等
的程度。可得I（X;Y）=0或C＝0，即信道
的X无关，此时P=0.5及H（X/Y）=H（X），
上没能传送任何信息。
（3）准对称DMC信道的容量
• 什么叫准对称DMC信道? 如果转移概率矩阵P是输入对称而输出不对 称，即转移矩阵P的每一行都包含同样的元素 而各列的元素可以不同，则称该矩阵是准对称 DMC信道。 例如，矩阵

量
j1
j1
I(X;Y )
n i 1
m j 1
p( xi y j )log2
p( y j / xi ) p( y j )
2020/10/20
第9页
3.2.3 离散信道容量的一般计算方法
3.2 (2) 用拉各朗日乘子法求信道容量
单
符 整理得：
号
离 散 信
m
j 1
p( y j
/
xi ) log2
p( y j / xi ) p( yj )
Electronics Engineering Department, NCUT Song Peng
第3页
第三章 信道及其容量
3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量 3.3 离散无记忆扩展信道 3.4 连续信道 3.5 信道编码定理 3.6 小结
2020/10/20
Electronics Engineering Department, XXXX Xxx Xxxx
信息论与编码
（第九讲）
──────────────
信道及其容量Ⅱ
XXX
2017年春
2020/10/20
E-mail：xxxxxx@
Department of Electronics and Information, NCUT Song Peng
第1页
2020/10/20
目录
第1讲：绪论 第2讲：信源及其信息量1—自信息与熵 第3讲：信源及其信息量2—平均互信息 第4讲：信源及其信息量3—多符号离散平稳信源 第5讲：信源及其信息量4—马尔科夫信源 第6讲：信源及其信息量5—连续信源 第7讲：信源及其信息量6—信源编码定理 第8讲：信道及其容量1 第9讲：信道及其容量2 第10讲：信息率失真函数1 第11讲：信息率失真函数2 第12讲：习题课1

信道容量：
I(X;Y)是输入随机变量X的概率分布P(x)的上凸函 数。因此对于一个固定的信道，总存在一种信源 （某种概率分布P(x)），使传输每个符号平均获 得的信息量最大，也就是每个固定信道都有一个 最大的信息传输率，就是信道容量C。
即：
C maxI (X ;Y ) p(x)
信道容量是描述某一固定信道特性的参量，是信 道（每个符号平均）能够传输的最大信息量。
采用平均互信息的第③种表达方式求信道容量：
I (X；Y ) H (Y ) H (Y | X )
H (Y | X ) p(x) p( y | x) logp( y | x)
x
y
p(x)H (Y | X x)
x
其中：H (Y | X x) p( y | x) logp( y | x)
P=

3
3
6
6

1 1 1 1
6 6 3 3
1 1 1

2
3
6

P=

1 6
1 2
1 3

1
1
1

3 6 2
满足对称 性,所对 应的信道 是对称离 散信道。
3
延边大学 计算机科学与技术学科 2019年10月19日星期六
1、对称离散信道的定义（续）
2
延边大学 计算机科学与技术学科 2019年10月19日星期六
1、对称离散信道的定义
对称离散信道：
对称性:
每一行都是由同一集{p’1, p’2,…p’s}的诸元素不同排列
组成——输入对称；
每一列都是由{q’1, q’2,…q’r}集的诸元素不同排列组成—

输入
X X1X2......X N i a ai1 i2 aiN
Y Y1Y2.....YN
i 1,2,......, nN
X K a1a2 an i1i2......iN 1,2,......, n 输出
YK b1b2 bn
X P(Y X ) Y
j b bj1 j2 bjN
§3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.3 多符号离散信道的信道容量
§3.3.1 多符号离散信道的数学 模型
§3.3.2 离散无记忆扩展信道的信 道容量 §3.3.3 独立并联信道的信道容量
多符号离散信道
多符号信源通过离散信道传输形 成多符号离散信道。
§3.3.1 多符号离散信道的数学模型
1 n
强对称信道与对称信道比较：
强对称
对称
n=m
n与m未必相等
矩阵对称
矩阵未必对称
P=Q
行之和，列之和均 为1
P与Q未必相等 行之和为1
四、准对称信道离散信道的信道容量
若信道矩阵的行是可排列的，但列不可 排列，如果把列分成若干个不相交的子集， 且由n行和各子集的诸列构成的各个子矩阵 都是可排列的，则称相应的信道为准对称 信道。例如下面的矩阵：
§3.2 单符号离散信道的信道容量
§3.3 多符号离散信道的信道容量 §3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.2 单符号离散信道的信道容量 §3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法
§3.2.1 信道容量的定义
p(b1) p(a1) p(a2 )
p(b2 ) (1 ) p(a2 )

n
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数

3.5.1 串联信道及其信道容量和数据处理定理
定理3.6 串联信道的平均互信息满足 I (Y ; Z ) I ( XY ; Z ) I ( X ;Z ) I ( XY ;Z )
仅当对任意x,y,z，满足 P(z | xy)=P(z | y) 时，一式等号成立； 满足 P(z | xy)=P(z | x)时，二式等号成立。

max
P(x)
I ( X;Y )

max
P(x)
i 1
I ( Xi;Yi )

i 1
max
P(x)
I ( X i;Yi )
N
Ci
i 1
式中，Ci

max
P( x)
I
(
X
i
;Yi
)
◆若信道为时不变的，则有：
Ci C,(i 1,2, , N)
此时，离散无记忆信道容量为
CN NC
*3.5 组合信道的信道容量
Y = Y2 β1 = 00 β 2 = 01 β 3 = 10 β 14 = 11

P(

4
1)

P(11
00)

P(1
0)P(1
0)

p2
p2 pp pp p2
◆二次扩展信道转移概率矩阵 ：

=
P
(

)


pp
p2
p2
pp
pp p2 p2 pp

p2
pp
pp
p
2
定理3.7 （数据处理定理） 若 X, Y, Z 构成一个马氏链，
I(X;Z) I(X;Y ) 则有: I ( X ; Z ) I (Y ; Z )

4.2.5 熵、信道疑义度及平均互信息 的相互关系
H(X,Y)=H(X|Y)+H(Y)=H(Y|X)+H(X) I(X;Y)=H(X)-H(X|Y) I(X;Y)=I(Y;X) I(X;Y)=I(Y;X)≥0 I(X;X)=H(X)
;
4.3 离散无记忆扩展信道
4.2节讨论了单个符号的信道传输情况。实际上，一般离散 信道的输入和输出是一序列，因此有必要研究扩展信道。
输入无关。 有记忆信道：信道的输出不;仅与当前的输入有关，与以前
一些特殊信道
无损信道：输出可以决定输入，即知道了信道的输出符号， 能确切判断出它对应的输入符号是什么。
确定信道：输出完全由输入决定，即输入符号一旦定下来， 信道的输出是确定的。
无噪信道：既是无损信道，又是确定信道。输出能决定输 入，输入也能决定输出。现实生活中很少存在这样的信道。
pr1
pr2
prs
;
例4.2.1 二元对称信道
简称为BSC
二元：输入和输出符号集均为{0,1}
对称：1变成0和0变成1的概率相等。
a1=0
1-p
b1=0
p p
a2=1
1-p
b2=1
p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p
BSC的信道矩阵：P
p p
p
p
;
r
H(X|bj) p(ai|bj)logp(ai|bj)
i1
表示接收到符号bj后，仍然保留的关于X的平均
不确定性。
;
P (X ,Y)例那 P X4么p p PY .Y Y2||X X .( 14(0 40 P||X0 1 34P二) )p p X X 元( (1 0 14))删43p 除p Y Y ||X X 信102((? ?||道0 1 1132) )p p PX X 023( (1 0 P))Y | X81p p Y Y ||X X 10823((1 1 ||0 1 112132) )p p X X 023( (1 0 )) 01 1 8 01 8 1 411//1 0 2 32 21//P 32X P

第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0

信道的作用
在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
-
12
§5.1:概述－4
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量
可靠性：通过信道编码降低误码率
在通信系统中研究信道，主要是为了描述、 度量、分析不同类型信道，计算其容量，即 极限传输能力，并分析其特性。
•香农第一定理的物理意义
-
23
§4.3:离散无记忆信道及其信道容量-1
离散消息序列信道
一般无记忆 无记忆信道
平稳无记忆 离散消息序列信道
有记忆信道 : 平稳，有限状态 有记忆信道
-
24
§4.3:离散无记忆信道及其信道容量-2
离散无记忆信道及其信道容量
P(
y
x
K
)无 记 忆
k1
P( yk
xk )
通信技术研究－－信号在信道中传输的过 程所遵循的物理规律，即传输特性
信息论研究－－信息的传输问题（假定传
输特性已知）
-
13
§4.2:信道的分类与描述
信道分类 信道描述
-
14
§4.2:信道分类与描述－1
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
-
30
§4.3:离散无记忆信道及其信道容量-8
对称信道
1
1
31
6
3
1 16 6
1 6
1 3
1 3
1 1 1 1
P1
3 1
6
3 1
6

2
2
1 q
（与公式计算的结果相同）
第15页/共27页
此时平均互信息就是信道容量
C (1 p q) log(1 p q) p log p (1 q) log 2 (1 q)
此例题可作为后面：一般信道容量充分必要条件定理 的例子。该定理说明：只要信源每个符号对于输出端 Y提供相同的互信息（概率为零的除外），则此时 平均互信息就是信道容量。
N
P(X) P( Xi ),
i 1
则
N
I (X; Y) I ( X i ;Yi )
i 1
所以，如果信道和信源都是无记忆的，则
N
I (X; Y) I ( X i ;Yi ) i 1
第23页/共27页
（5）、信道的组合 并联信道：两个或更多个信道并行，同时分别传送；
X1 {ak }
信道1 p(j|k)
1-p 1-q 1
q
0
0 21
2
0 p 1 p 0
1 0 1 q q
1
第2页/共27页
删除信道的必要性
0
1
0
1
？2
第3页/共27页
2、 信道容量定义
信息传输率：信道中平均每个符号所能传送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符号）
有时我们需要关心单位时间内（一般为秒为单位） 平均传输的信息量，若平均传输一个符号需要 t 秒，则 信道每秒平均传输的信息量为（速率）
I (X ;Y )
X ,Y
p(k h )log
p(h |k ) p(h )
E[log
p(h |k )] p(h )
因为信道是无记忆的：
I ( X ;Y ) E[log p(bh1 | ak1 ) p(bh2 | ak21 ) p(bhN | akN ) ]

平均互信息的物理含义：
平均互信息的特性
（1）对称性：
I (X ;Y ) I (Y; X )
（2）非负性：
I(X;Y) 0
（3）极值性：
I(X;Y) H(X )
I (Y; X ) H (Y )
（4）凸函数性
平均互信息量 I (X; Y ) 是输入信源概率 分布 P(x) 的上凸函数（研究信道容量 的理论基础）。
p(xyz) 1
XY Z
p( xy)
p( xyz)
p( xz)
Z
p( xyz)
Y
p( yz)
X
p( xyz)
p(
x)
p(
xy)
p(xz)
p(
y)
Y
p(xy)
Z
p(
yz)
X
Z
p(z)
X
p(
xz)
Y
p(
yz)
定义：对于三个离散随机变量X、Y、Z， 在已知Z的条件下，X和Y之间的平均条件 互信息为：
P( y | x) 1 y
根据信道的统计特性即条件概率的不同， 离散信道又可分成如下几种情况
无干扰(无噪)信道：
y f (x)
并且
1 P( y | x) 0
, ,
y f (x) y f (x)
有噪信道：P( y / x) 不是0，1分布，称
为有噪信道
离散有干扰无记忆信道：简称DMC
3.8 串联信道的互信息和数据处理定理 3.9信源与信道的匹配
3.1 信道的数字模型及分类
在信息论中，信道中指信息传输的通道。它是 信息论中与信源并列的另一个主要研究对象。
典型例子：
实际通信中物理通道：电缆、光纤、电波传 布空间、载波线路等；

二、平均互信息
互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量
I ( x i;y j) I ( x ) I ( x /y ) lo p ( 1 x i) g lo p ( x i 1 g |y j) lo p ( p x ( ig x |iy ) j)
即：互信息量表示先验的不确定性减去尚存的不确定性， 这就是收信者获得的信息量
但如果信道中有干扰(噪声)存在，接收到符号Y后对发送 的是什么符号仍存在有不确定性。
接受到bj后，关于X的不确定性为
H(X|bj) X
p(x|bj)logp(x1|bj)
这是接收到输出符号bj后关于X的后验熵。 后验熵是当信道接收端接收到输出符号bj后，关于输入
符号的信息测度。
后验熵在输出符号集Y范围内是个随机量，对后验熵在符
解：X:{0,1} Y:{0,1,2} 此时，r ＝2，s ＝3， 传递矩阵为：
021
0
p
0
1－p
2 1－q
1
q
1
0 p 1 p 0 1 0 1q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
这种信道实际是存在的。
• 设有一个信道，其输入为正、负方波信号，那么，信道输 出送入译码器的将是受干扰后的方波信号R(t)，如图(b)。
信道输入信源X的熵
H (X )i r1p (a i)lo gp ( 1 a i) Xp (x )lo gp (x )
H(X)是在接收到输出Y以前，关于输入变量X的先验不 确定性，称为先验熵。
如果信道中无干扰(噪声)，则信道的输出符号与输入符 号一一对应，那么，接收到传送过来的符号后就消除了对发 送符号的先验不确定性。

G1=20db, G 2=10db, 而带宽为1MHz, 当信道输入为 2mW 时，试求
(1)若信道噪声功率密度为 N0=2×10-6mW/Hz ，求 信道容量 C=?
(2)当信道输入、 G2、N0均不变，而带宽变为 1.5MHz ，若要获得同样容量 C, G 1 应为多少分 贝？（以 10为底）
第三章 信道容量
第三章 信道容量
课堂练习
1.求下图中信道的信道容量及其最佳的输入概率 分布。
（a）
(b)
第三章 信道容量
课堂练习
2.求下图中信道的信道容量及其最佳的输入概率 分布。并求当 ε=0和1/2时的信道容量 C。
第三章 信道容量
课堂练习
3.若已知信道输入分布为等概率分布，且有如下两 个信道，其转移概率矩阵分别为：
?1/ 2
?
P
=
? ?
0 0
??1/ 2
1? ?
? ?
1? ?
1/ 2 0 1/ 2 1/ 2
0 1/ 2 00
b1
?令 ? = 0.5
?则 C = 1? H (?) = 0
?输入任何分布，
b2
输出都达到 C
?令输入分布(0.5,0,0.5,0 ）
0 0
? ?
I (X;Y) = C
? ?令输入分布
1/ 2 ? (0.25,0.25,0.25,0.25 ）
输入字母在什么条件下唯一？ ?? 定理：在达到信道容量时，如果输入概率 分布中具有零概率的字母总数达到最大，则此 时非零概率可被唯一地确定，且非零概率分量 的数目不超过输出字母的总数。
证明见朱雪龙2001版信息论p134页。
?定理不是说具有最大数目零概率的最佳分布是唯 一的。 ?定理只说明概率分布由同一组包含零的数字的不 同排列构成。